站長朋友們都了解，搜索引擎蜘蛛程序通過域名進入網(wǎng)站，從而開展對頁面的抓取，蜘蛛從指定的頁面出發(fā)，沿著頁面中的鏈接，按照某種特定的策略對網(wǎng)站中的頁面進行遍歷，收錄未訪問的網(wǎng)頁，然后搜索引擎再對網(wǎng)頁內容進行判斷，決定是否收錄入數(shù)據(jù)庫。

目前，常見的搜索引擎收錄方式主要廣度優(yōu)先，深度優(yōu)化和用戶提交這幾種方式，這幾種方式的結合，從而讓搜索引擎蜘蛛化的能夠遍歷網(wǎng)站的所有頁面，從而加以收錄，但是如果網(wǎng)站的結構設置的不好，那么很容易導致蜘蛛無法爬行到某些頁面，自然也無法收錄。事實上，網(wǎng)站結構在決定頁面權重方面起著非常關鍵的作用，直接影響搜索引擎對頁面的收錄，一個設計合理的網(wǎng)站結構可以引導搜索引擎從中抓取到更多、更有價值的頁面。

那么，我們如何根據(jù)頁面的收錄原理來進行網(wǎng)站的優(yōu)化工作呢？事實上，蜘蛛是通過連接不斷爬行，無論是采用深度優(yōu)先還是廣度優(yōu)先，由于蜘蛛的能力有限，只能爬到一定的地方，這要求我們盡量減少頁面的目錄深度及與重要頁面之間的鏈接深度，從而有利于蜘蛛的爬行，具體分析如下：

一、減少頁面的目錄深度

減少頁面的目錄深度，實際上是減少頁面URL的目錄層次，新手朋友可以從一下幾個方面入手：

1.對于全靜態(tài)頁面的網(wǎng)站，在規(guī)劃網(wǎng)站時要精簡目錄結構，比如http://www.xxx.com/ck/HTML/1.shtml，我們在規(guī)劃目錄時，可以精簡為http://www.xxx.com/ck/1.shtml等。

2.對于動態(tài)頁面的網(wǎng)站，則可以通過 URL 重寫的方式減少頁面的 URL 的目錄層次。在實際操作中，我們會通過URL重寫的方式使得網(wǎng)站中的每個頁面的URL深度都為1，即URL 形式為 http://域名/文件名稱。

二、一個頁面的鏈接數(shù)量不要超過100

這是很多站長朋友所忽略的，事實上，如果一個頁面中的鏈接數(shù)量超過100，搜索引擎可能拒絕索引該頁面，或者忽略 100 以后的那部分鏈接指向的目標頁面。這是一個很關鍵的內容，很多站長朋友并沒有意識到這點，所以很多時候超過100的那部分鏈接已經(jīng)沒有意義，不被搜搜引擎蜘蛛所爬行，那么這部分的鏈接所指向的頁面不會被收錄，所以如果要想這部分鏈接所指向的頁面被收錄，我們要另外做鏈接導入。

小肖認為，良好的網(wǎng)站結構是平鋪結構，可惜這種結構不適用于大部分站，但是針對大部分站，我們還是可以好好的進行設計，遵循上面的三點原則，可以導致蜘蛛爬行到所有的頁面，從而有利于網(wǎng)站的收錄。

三、減少頁面之間的鏈接深度

減少頁面之間的鏈接深度包括減少普通頁面與重要頁面之間、重要頁面與重要頁面之間的鏈接深度，可以從以下幾點入手：

1.為網(wǎng)站中相對重要的頁面增加更多的鏈接入口。在相對重要的頁面中存放更多鏈接指向其他的頁面，這樣不但可以減少頁面之間的鏈接深度，還可以引導搜索引擎抓取網(wǎng)站中更多相對重要的頁面。舉個簡單的例子，我們網(wǎng)站的首頁可以在合理的范圍內加上更多指向其他相對重要的頁面的鏈接。這樣有利于蜘蛛的爬行收錄。

2.如果我們要突出某個重要的頁面，可以在更多的頁面中加上鏈接指向這個頁面，可以化的保證這個重要頁面的收錄和提高這個頁面的權重。

3.用心制作好網(wǎng)站地圖。網(wǎng)站地圖起到了減少頁面之間的鏈接深度，有利于蜘蛛查找到更多的頁面。