通過robots.txt看到網(wǎng)站后臺目錄

2016-09-09 23:55:00

搜索引擎通過robots.txt文件內(nèi)容可以識別出青島網(wǎng)站建設根目錄哪些是允許收錄的內(nèi)容，哪些是禁止收錄的內(nèi)容，但是如果黑客直接訪問如www.abc/robots.txt直接打開一些敏感目錄，如后臺目錄等，帶來極大的安全隱患。

可通過下面幾個方法禁止目錄被看到：

方法1

假設我們后臺目錄是 /system/，那么我們可以在設置的時候這樣寫：

User-agent: *

Disallow: /sys

關鍵在第二行，這樣寫就會阻止搜索引擎訪問任何以“sys”開頭的文件和目錄。為了防止別人猜出你的后臺目錄，這里截取的越短越好，比如：

User-agent: *

Disallow: /d

這樣，同樣起到作用，但留的字母更少，更難猜了，這時會阻止搜索引擎訪問所有以d”開頭的文件和目錄。

這里我們需要注意的問題是，為了避免影響其它目錄的收錄，可以修改一下后臺目錄文件名。如果后臺目錄以某個字母或幾個字母開頭，那就避免其它需要被收錄的文件或目錄以這幾個字母開頭，這樣就可以了。

方法2

后臺目錄做個首頁文件, 跳轉(zhuǎn)到真正的后臺首頁文件.

比如說, 后臺首頁是index.php, 而服務器優(yōu)先index.html

寫個index.html文件, 跳轉(zhuǎn)到index.php

index.html文件在<head>中加入

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">,

搜索爬蟲就不會繼續(xù)到該目錄下的其他頁面了

注：

NOINDEX指令：表示拒絕搜索機器人索引本頁，但可跟蹤該頁上的鏈接;

NOFOLLOW指令：表示拒絕機器人跟蹤本頁鏈接，但可索引本頁。

還可以加入，NOARCHIVE：告訴Google不要保存含此標簽的網(wǎng)頁的快照。

補充：

只是攔截百度蜘蛛爬取網(wǎng)頁，而允許其他搜索引擎收錄：

允許搜索引擎收錄你的網(wǎng)頁，但禁止其收錄網(wǎng)頁上的圖片：

如果是linux+apache, 還可以用.htaccess文件限制

這2個方法可以根據(jù)自己情況進行使用。

上一篇：LOGO設計，簡約而不簡單

下一篇：如何防止網(wǎng)站被復制