服務(wù)器日志除了找404的問題，找異常ip、看蜘蛛爬取的次數(shù)、是否爬取過重要頁面以外，相信還有很多的作用。
某在想著怎么快速解決手游站收錄的時(shí)候，突發(fā)奇想，記得以前看過某個(gè)人對(duì)于百度蜘蛛字段的分析，所以想用這個(gè)東西加以分析一下，看一下目前手游站百度蜘蛛抓取的情況到底是怎樣的。

具體的字段區(qū)分看這里，但我不知道是否還有用http://www.aiwom.net/post/baiduspider.html
但我想大家只要記錄下以下的4點(diǎn)摘要OK了
123.125.71.*
低權(quán)重匯總：抓取內(nèi)頁收錄的，權(quán)重較低，爬過此段的內(nèi)頁文章暫時(shí)被收錄但不放出來(意思也是說待定)，因不是原創(chuàng)或采集文章
220.181.108.*
權(quán)重蜘蛛?yún)R總：主要是抓取首頁占80%，內(nèi)頁占30%，這此爬過的文章或首頁，24小時(shí)內(nèi)放出來和隔夜快照的!
220.181.68.*
沙盒：每天這個(gè)IP段只增不減很有可能進(jìn)沙盒或K站
61.135.168.*
抓取圖片的百度蜘蛛

現(xiàn)在言歸正傳，在對(duì)比了這位大大總結(jié)的內(nèi)容之后，再匹配日志查看，有幾個(gè)論證和猜想：
爬取收錄上：
1、220.181.108.*字段開頭的確實(shí)是高權(quán)重ip，這點(diǎn)應(yīng)該沒有大問題。但高權(quán)重的字段不表示一定會(huì)收錄，猜測可能和目錄的新舊還是有一定關(guān)系的，舊有目錄在高權(quán)重的ip下一爬基本都會(huì)隔天收錄，甚至有些當(dāng)天放出來；但如果是新加了的目錄層級(jí)，貌似即使蜘蛛爬過了也不會(huì)馬上放出來，這個(gè)周期目前看起來對(duì)于新站來說，是很漫長的過程（具體多漫長，我猜測1個(gè)月至少，還和站點(diǎn)的建設(shè)情況有關(guān)。）
2、123.125.71.*來的是低權(quán)重的字段，在收錄效果上，我不能很明確的說yes，在結(jié)果中確實(shí)也出現(xiàn)了被這個(gè)ip爬取后第二天還顯示出來的收錄結(jié)果。

權(quán)重賦予上：
1、220.181.108.*字段的怎么說，爬過的給予的權(quán)重不低。我列這么個(gè)構(gòu)想圖吧
（1）、
高權(quán)重爬?。ūＷC了收錄）->的標(biāo)題->文章標(biāo)題全匹配搜索，肯定位
高權(quán)重爬?。ūＷC了收錄）->抄別人的標(biāo)題->文章標(biāo)題全匹配搜索，結(jié)果也不會(huì)太差，貌似前3頁肯定找得到
而且還會(huì)碰到這樣，比如文章1的上下篇里有另一篇文章2的標(biāo)題，即使文章2沒被爬過和收錄，只要文章1被高權(quán)重爬過并放出來，全匹配搜索文章2的標(biāo)題，文章1也會(huì)經(jīng)常堂而皇之的出現(xiàn)在搜索結(jié)果里。
（2）、
低權(quán)重爬取的被收錄后，只要資源不是稀缺形的，全標(biāo)題匹配搜索還真不一定能找到。。。搜索結(jié)果展示確實(shí)不如高權(quán)重蜘蛛爬過的。

然后我們來看手游站近一周的分析數(shù)據(jù) ，分析完了后發(fā)現(xiàn)，終收錄結(jié)果貌似和是否高、低權(quán)重蜘蛛爬過沒有關(guān)系，只影響收錄的速度，有種被忽悠的感覺。但歸根結(jié)底還是數(shù)據(jù)量小，時(shí)間長度拉的不夠，其實(shí)如果要驗(yàn)證是否高權(quán)重蜘蛛爬取的收錄更快的話，還是應(yīng)該看下當(dāng)天爬取后隔天的收錄結(jié)果更準(zhǔn)確。

其他的研究結(jié)果：
1、“百度診斷”工具來的蜘蛛是低權(quán)重蜘蛛字段。heng~這樣的逆推的話，估計(jì)在搜索結(jié)果里提示找不到要你提交url的那個(gè)功能估計(jì)也是低權(quán)重的蜘蛛字段
2、百度“站內(nèi)搜索”提交的sitemap索引，來的是高權(quán)重的蜘蛛字段~

推薦閱讀

淺談URL優(yōu)化該怎么寫,如何判斷重要性@steven | 文軍營銷蜘蛛不必花時(shí)間過于的去分析你的頁面內(nèi)結(jié)構(gòu),層次清晰。 4.爬蟲黑洞:這個(gè)問題不是什么新問題了。百度也有做專門的闡述,因?yàn)橐恍﹗rl處理不當(dāng)產(chǎn)生的動(dòng)態(tài)參數(shù)后綴,或是刻意圈住蜘蛛所做的無限循環(huán),這種的效果明顯是弊大于利。對(duì)URL 的規(guī)劃上一定要想辦法盡可能的處理掉無限動(dòng)態(tài)參數(shù)后綴,并且也要合理的給蜘蛛出口,這才...