當你去看一個網站的時候，無論你是為了你自己的項目還是為了客戶的項目，很重要的一個方面就是希望網站能夠被爬行。在這篇文章中，我希望能夠討論幾個這方面的問題并且診斷一些爬行的問題。

首先我們要進行查詢的第一步就是進行一個簡單的［site:example.com］的搜索并且比較一下你的網站到底有多少個頁面和谷歌認為你有多少個壓面。現在，你需要記住的就是，這個數字只是一個估算。你需要去做的就是進行足夠的估算谷歌知道你有多少頁面。

如果你有幾百個甚至上千個頁面，但是谷歌只知道其中的100個的話，那么你就會出現這樣的一個問題。這是由你網站的規模所決定的，百分之10-30的準確性還是有的。

你要做的第二件事就是要關注站長中心。如果你提交一個網站地圖，谷歌會告訴你你提交了多少的頁面和多少個頁面被索引了。數量越接近的話，那么就更好。如果不是百分之一百的匹配的話，有事你的網站就會被鎖定。從這一點來看，你只需要去考慮整體的數量。

如果這件事從根本上來說是正常的話，那么你就可以從站長重心直接下載很多的頁面的索引。雖然這是用來檢查一些死鏈接的，在這個過程中它就會來爬行我們的網站。如果你是一個大的網站的話，那么你就會想去做一些爬行的限制。

我想用的另一個產品就是網站審計員。有關網站審計員的一個很有趣的是將都是你可以限制爬行的深度問題，那就是你希望搜索引擎蜘蛛爬多深。是由首頁開始的，只會上升一個階層。在運行一次，這次就會是兩個層面，然后就是3個層面。除此之外，站長中心會有很多的報告，你將會出現一些問題。說句實在話，你網站的權威性還是很重要的。

擁有鏈接數量最多的網站往往是被爬行的最頻繁的。最受信任和權重高的頁面也是被爬得最頻繁的。

所以，你需要做的是擁有不同層面的頁面的樣本然后去判斷它們的爬行概率。那些像網站編輯的那些工具將會為你做這些事。第二個方法就是使用一個外包服務。那么你怎么知道你自己是否出現了麻煩了呢？下面就是對這篇文章的一個總結：

我們要準確的去估計你網站的爬行情況

使用站長中心去看你的頁面的索引情況

識別你網站上的鏈接

試著去測試對不同深度的爬行情況