今天與大家交流一個(gè)話題，也是最近比較有影響力、非常受歡迎的話題，如何分析百度怎么抓取網(wǎng)站內(nèi)容。一個(gè)好的網(wǎng)站就像一個(gè)明星如果沒有粉絲的追捧，他的人氣排名肯定也上不來(lái)。下面我以問(wèn)答的方式與大家溝通：

一、問(wèn)：百度自己也有一個(gè)CDN加速(百度云加速)，對(duì)抓錄排名有沒有影響?

       答：在使用CDN加速這個(gè)問(wèn)題上，我們對(duì)所有站點(diǎn)一視同仁。但我建議你使用技術(shù)能力強(qiáng)的CDN服務(wù)商，保證站點(diǎn)的穩(wěn)定和速度，百度會(huì)更喜歡。

二、問(wèn)：多個(gè)域名，他有相同的一些內(nèi)容，怎么建庫(kù)?

       答：如果是多域名在同一個(gè)主域下面有相同內(nèi)容的話，不可能所有都建庫(kù)，而且被建庫(kù)的那個(gè)可能不是你希望的那個(gè)，所以盡量不要有相同的內(nèi)容。

三、問(wèn)：如果說(shuō)頁(yè)面里url特別多的話，蜘蛛會(huì)不會(huì)有選擇性的進(jìn)行抓取?

       答：不會(huì)，他都會(huì)一個(gè)不漏給你提出來(lái)，但會(huì)把JS、CSS這樣的鏈接給過(guò)濾掉。但請(qǐng)注意，全部抓取過(guò)來(lái)之后會(huì)進(jìn)行篩選，并不是所有都會(huì)建庫(kù)。

四、問(wèn)：多個(gè)域名，他有相同的一些內(nèi)容，怎么建庫(kù)?

       答：如果是多域名在同一個(gè)主域下面有相同內(nèi)容的話，不可能所有都建庫(kù)，而且被建庫(kù)的那個(gè)可能不是你希望的那個(gè)，所以盡量不要有相同的內(nèi)容。

五、問(wèn)：現(xiàn)在我的網(wǎng)站被很多蜘蛛爬，我想只讓百度蜘蛛爬，百度蜘蛛IP多少?能設(shè)白名單么?

       答：百度蜘蛛IP是不斷變的，現(xiàn)在網(wǎng)上的確有一些白名單的說(shuō)法，暫時(shí)是有較的，但不保證今后不會(huì)變，所以建議站點(diǎn)還是通過(guò)ua進(jìn)行判斷。

六、問(wèn)：如果我寫robots只想禁掉動(dòng)態(tài)鏈接的話，會(huì)不會(huì)影響動(dòng)態(tài)參數(shù)前面正常鏈接的抓取?

       答：不會(huì)的，你原來(lái)的頁(yè)面還在，肯定會(huì)抓。

七、問(wèn)：比如我們一個(gè)域名www.ihaomai.cn，我們想把帶?號(hào)的url全部禁掉，首頁(yè)我們不要禁掉，怎么弄?

       答：?前面有個(gè)*，后面再有個(gè)*就可以了。

八、問(wèn)：我想了解，如果我現(xiàn)在收錄有5萬(wàn)，大概多長(zhǎng)時(shí)間才能把我原來(lái)收錄5萬(wàn)重新抓取一遍?

       答：不同站點(diǎn)不好說(shuō)，一個(gè)是你站點(diǎn)做的很好，知名度很響更新很快質(zhì)量很好就會(huì)快;如果你的站點(diǎn)默默無(wú)聞，貢獻(xiàn)很少，可能就會(huì)很慢。

九、問(wèn)：如果說(shuō)頁(yè)面里url特別多的話，蜘蛛會(huì)不會(huì)有選擇性的進(jìn)行抓取?

       答：不會(huì)，他都會(huì)一個(gè)不漏給你提出來(lái)，但會(huì)把JS、CSS這樣的鏈接給過(guò)濾掉。但請(qǐng)注意，全部抓取過(guò)來(lái)之后會(huì)進(jìn)行篩選，并不是所有都會(huì)建庫(kù)。

十、問(wèn)：現(xiàn)在很多網(wǎng)站都有自己的站內(nèi)搜索，都會(huì)產(chǎn)生站內(nèi)搜索結(jié)果頁(yè)，百度不喜歡搜索結(jié)果頁(yè)的話，我們用這個(gè)會(huì)不會(huì)對(duì)我們有影響?只是不喜歡還是對(duì)我們網(wǎng)站會(huì)有懲罰?

       答：蜘蛛會(huì)去抓，抓完之后重要是提取里面的鏈接。如果只有一兩條這樣的頁(yè)面質(zhì)量不好問(wèn)題不大，如果整體質(zhì)量較差，有可能受到懲罰。