當(dāng)搜索引擎蜘蛛抓取網(wǎng)站的時(shí)候，每一次都會(huì)有一個(gè)返回碼，表示本條內(nèi)容抓取的狀態(tài)，我們可以通過(guò)網(wǎng)站日志中查看這些返回碼信息，來(lái)提升青島網(wǎng)站建設(shè)的優(yōu)化效果。

你把IIS日志從空間下到自己電腦,然后用文本工具打開(kāi);

2010-05-14 15:52:03 W3SVC1 121。187。5。143 GET /category-8-b0-min1100-max2200.html - 80 - 220.181.7.74 Baiduspider+(+baidu/search/spider.htm) 200 0 0 
分析下 200 0 0組成部分 sc-status(協(xié)議狀態(tài)) sc-substatus(協(xié)議子狀態(tài)) sc-win32-status(Win32狀態(tài)碼)

sc-status(協(xié)議狀態(tài)): 200 連接成功

sc-substatus(協(xié)議子狀態(tài)) :0 成功

sc-win32-status(Win32狀態(tài)碼):0 代表抓取成功并帶回?cái)?shù)據(jù)庫(kù) ; 64 指定的網(wǎng)絡(luò)名不再可用

1: 在這個(gè)訪問(wèn)記錄里面121.187.5.143是你服務(wù)器的IP地址,220.181.7.74 是bd蜘蛛的IP,/category-8-b0-min1100-max2200.html 為蜘蛛訪問(wèn)你的頁(yè)面 80是端口 GET是打開(kāi)方式 W3SVC1是記錄的文件夾,這里說(shuō)明,bd蜘蛛已經(jīng)訪問(wèn)了你的category-8-b0-min1100-max2200.html 這個(gè)頁(yè)面,那么最重要的是最后面的這個(gè)參數(shù)200 0 0。

2、200 0 0 成功訪問(wèn)該頁(yè)面,0代表抓取成功并帶回?cái)?shù)據(jù)庫(kù)。這個(gè)時(shí)候你就放心了,這個(gè)頁(yè)面已經(jīng)被bd收錄,但是還沒(méi)有釋放出來(lái),bd更新時(shí)就可能釋放出來(lái)。

3:200 0 64 網(wǎng)絡(luò)上流傳著這么三種解釋

第164為K站的前兆。

第264的出現(xiàn)只是64位操作系統(tǒng)。

第三:網(wǎng)絡(luò)不可達(dá),由于某種原因無(wú)法完全打開(kāi)頁(yè)面,或者網(wǎng)絡(luò)不穩(wěn)定這些原因,導(dǎo)致蜘蛛無(wú)法帶回頁(yè)面或者說(shuō)不抓取該頁(yè)面,

所以200 0 64的解釋也應(yīng)該為:訪問(wèn)了該頁(yè)面,但并沒(méi)有任何抓取也沒(méi)有帶回?cái)?shù)據(jù)庫(kù)。這種原因多為空間不穩(wěn)定、服務(wù)器不穩(wěn)定。

或者說(shuō)是蜘蛛訪問(wèn)了但快照不更新

4:304 0 0這個(gè)返回碼代表蜘蛛訪問(wèn)的頁(yè)面沒(méi)有更新,和他之前來(lái)的時(shí)候是一樣的,所以看到這個(gè)不要擔(dān)心,蜘蛛來(lái)過(guò),只不過(guò)你沒(méi)有更新,所以他也不愿意帶走這個(gè)頁(yè)面。

5:404 0 0這個(gè)是代表404頁(yè)面,但是有個(gè)很?chē)?yán)重的問(wèn)題,這個(gè)返回碼告訴我們,蜘蛛來(lái)到了404頁(yè)面并把他帶走了

,要是這樣的話基本上你要倒霉了,要你有太多的404,那么蜘蛛就會(huì)不斷是抓取,不斷的帶走,這樣會(huì)造成無(wú)數(shù)的重復(fù)頁(yè)面,最終導(dǎo)致K站或者降權(quán),

正確的返回碼是404 0 64 這就代表蜘蛛沒(méi)有抓取你這個(gè)頁(yè)面。 （好像是內(nèi)容有死鏈的意思） 

6:500錯(cuò)誤500錯(cuò)誤是服務(wù)器內(nèi)部錯(cuò)誤,是由程序的錯(cuò)誤造成的,我不懂程序,但是500錯(cuò)誤是會(huì)給你減分的,這點(diǎn)基本的邏輯都可以想的到,要發(fā)現(xiàn)500錯(cuò)誤,馬上查看是哪個(gè)頁(yè)面的,然后去修正以下錯(cuò)誤吧!

7:302要在日志中發(fā)現(xiàn)302的返回碼也是需要注意的,302為臨時(shí)重定向,要你是長(zhǎng)期的將這個(gè)頁(yè)面重定向到另一個(gè)頁(yè)面,麻煩你使用301永久重定向,要是302的話bd蜘蛛下次來(lái)還會(huì)訪問(wèn)這個(gè)頁(yè)面,這樣又會(huì)造成復(fù)制大量頁(yè)面的問(wèn)題,結(jié)果肯定是K,所以,抽空檢查以下。

每個(gè)網(wǎng)絡(luò)蜘蛛都有自己的名字,在抓取網(wǎng)頁(yè)的時(shí)候,都會(huì)向網(wǎng)站標(biāo)明自己的身份。網(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁(yè)的時(shí)候會(huì)發(fā)送一個(gè)請(qǐng)求,這個(gè)請(qǐng)求中就有一個(gè)字段為User-agent,用于標(biāo)識(shí)此網(wǎng)絡(luò)蜘蛛的身份。例如Google網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為GoogleBot,Baidu網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為BaiDuSpider,Yahoo網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為Inktomi Slurp。

返回碼大全：

2xx 成功
200 正常；請(qǐng)求已完成。
201 正常；緊接 POST 命令。
202 正常；已接受用于處理，但處理尚未完成。
203 正常；部分信息 — 返回的信息只是一部分。
204 正常；無(wú)響應(yīng) — 已接收請(qǐng)求，但不存在要回送的信息。
3xx 重定向
301 已移動(dòng) — 請(qǐng)求的數(shù)據(jù)具有新的位置且更改是永久的。
302 已找到 — 請(qǐng)求的數(shù)據(jù)臨時(shí)具有不同 URI。
303 請(qǐng)參閱其它 — 可在另一 URI 下找到對(duì)請(qǐng)求的響應(yīng)，且應(yīng)使用 GET 方法檢索此響應(yīng)。
304 未修改 — 未按預(yù)期修改文檔。
305 使用代理 — 必須通過(guò)位置字段中提供的代理來(lái)訪問(wèn)請(qǐng)求的資源。
306 未使用 — 不再使用；保留此代碼以便將來(lái)使用。
4xx 客戶機(jī)中出現(xiàn)的錯(cuò)誤
400 錯(cuò)誤請(qǐng)求 — 請(qǐng)求中有語(yǔ)法問(wèn)題，或不能滿足請(qǐng)求。
401 未授權(quán) — 未授權(quán)客戶機(jī)訪問(wèn)數(shù)據(jù)。
402 需要付款 — 表示計(jì)費(fèi)系統(tǒng)已有效。
403 禁止 — 即使有授權(quán)也不需要訪問(wèn)。
404 找不到 — 服務(wù)器找不到給定的資源；文檔不存在。
407 代理認(rèn)證請(qǐng)求 — 客戶機(jī)首先必須使用代理認(rèn)證自身。
415 介質(zhì)類(lèi)型不受支持 — 服務(wù)器拒絕服務(wù)請(qǐng)求，因?yàn)椴恢С终?qǐng)求實(shí)體的格式。
5xx 服務(wù)器中出現(xiàn)的錯(cuò)誤
500 內(nèi)部錯(cuò)誤 — 因?yàn)橐馔馇闆r，服務(wù)器不能完成請(qǐng)求。
501 未執(zhí)行 — 服務(wù)器不支持請(qǐng)求的工具。
502 錯(cuò)誤網(wǎng)關(guān) — 服務(wù)器接收到來(lái)自上游服務(wù)器的無(wú)效響應(yīng)。
503 無(wú)法獲得服務(wù) — 由于臨時(shí)過(guò)載或維護(hù)，服務(wù)器無(wú)法處理請(qǐng)求。

如果在網(wǎng)站上有訪問(wèn)日志記錄,網(wǎng)站管理員就能知道,哪些搜索引擎的網(wǎng)絡(luò)蜘蛛過(guò)來(lái)過(guò),什么時(shí)候過(guò)來(lái)的,以及讀了多少數(shù)據(jù)等等。

根據(jù)不同的IP我們可以分析網(wǎng)站是個(gè)怎樣的狀態(tài).下面就按照我IIS日記上的百度蜘蛛IP為例:
123.125.68.*這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權(quán)。
220.181.68.*每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西。
121.14.89.*這個(gè)ip段作為度過(guò)新站考察期。
203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正?，F(xiàn)象后。
210.72.225.*這個(gè)ip段不間斷巡邏各站。
125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分，是新上線站較多，還有使用過(guò)站長(zhǎng)工具，或SEO綜合檢測(cè)造成的。
220.181.108.95這個(gè)是百度抓取首頁(yè)的專(zhuān)用IP，如是220.181.108段的話，基本來(lái)說(shuō)你的網(wǎng)站會(huì)天天隔夜快照，絕對(duì)錯(cuò)不了的，我保證。
220.181.108.92 同上98%抓取首頁(yè)，可能還會(huì)抓取其他 (不是指內(nèi)頁(yè))220.181段屬于權(quán)重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。
123.125.71.106 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。
220.181.108.91屬于綜合的，主要抓取首頁(yè)和內(nèi)頁(yè)或其他，屬于權(quán)重IP 段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。
220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%，8%抓取首頁(yè)，2%其他。權(quán)重IP 段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。
220.181.108.86專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
123.125.71.95 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。
123.125.71.97 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。
220.181.108.89專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.94專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.97專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.80專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.77 專(zhuān)用抓首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
123.125.71.117 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。
220.181.108.83專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP 代表抓取內(nèi)頁(yè)收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時(shí)被收錄但不
放出來(lái).(意思也就是說(shuō)待定)。
220.181.108.*段IP主要是抓取首頁(yè)占80%，內(nèi)頁(yè)占30%，這此爬過(guò)的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照的，這點(diǎn)我可以保證!
一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒(méi)更新，蜘蛛來(lái)過(guò)，如果是 200 0 64別擔(dān)心這不是K站，可能是網(wǎng)站是動(dòng)態(tài)的，
所以返回就是這個(gè)代碼。