robots.txt文件介紹
　　robots.txt是網站主建立與搜索引擎之間溝通的一座橋梁。其文件常見問題很多，下面列舉一些我們經常犯的一些錯誤：
　　1、robots.txt的位置應該放在那里？
　　robots.txt文件應該放置在網站根目錄下。當搜索引擎的蜘蛛程序訪問一個網站（比如http://www.seoqu.com）時，首先會檢查該網站中是否存在http://www.seoqu.com/robots.txt這個文件，如果找到這個文件，它就會根據這個文件的內容，來確定它即將要訪問的范圍。
　　2、我建立了robots.txt文件屏蔽了網頁，為什么還會出現在搜索結果中呢？
　　如果在robots.txt中屏蔽了該url路徑，按常理來將是不會出現的搜索結果中的，但是很多情況下并不是這樣，原因如下：
　　1.蜘蛛程序通過其他鏈接直接進入網站的內頁，導致被爬取并收錄；
　　2.robots.txt文件是后期修改，搜索結果還未進行更新；
　　3.…
　　以上經過一段時間的更新就會逐漸消失，如果被抓取的網頁涉及到一些隱私，可以直接想相關搜索引擎反映。
　　3、robots.txt中的一些細節(jié)問題
　　文件中頭字母大小寫；
　　注意空格和“／
　　４、robots.txt的一些操作事例
　　a、禁止搜索搜索引擎訪問網站的任何部分
　　User-agent：*
　　Disallow：/
　　b、允許訪問所有的內容
　　User-agent：*
　　Disallow：
　　或者
　　User-agent：＊
　　Allow：/
　　也可以建立一個空的robots.txt文件
　　c、僅僅允許google訪問我的網站
　　User-agent：Googlebot
　　Disallow：/
　　User-agent：*
　　Disallow：/
　　d、禁止訪問指定目錄
　　User-agent：*
　　Disallow：/abc/
　　Disallow：/def/
　　Disallow：/ghp/
　　e、允許訪問特定目錄
　　User-agent：*
　　Allow：/abc/abc
　　Allow：/def/ef
　　Allow：/ghp/look
　　Disallow：/abc/
　　Disallow：/def/
　　Disallow：/ghp/
　　f、禁止訪問/abc/目錄下的所有以.html為后綴的URL(包含子目錄)
　　User-agent：*
　　Disallow：/abc/*.html
　　g、僅允許訪問以.html為后綴的URL
　　User-agent：*
　　Allow：.html$
　　Disallow：/
　　h、禁止訪問網站中所有的動態(tài)頁面
　　User-agent：*
　　Disallow：/*？*
　　i、禁止抓取網站上所有圖片
　　User-agent：*
　　Disallow：.jpg$
　　Disallow：.jpeg$
　　Disallow：.gif$
　　Disallow：.png$
　　Disallow：.bmp$
　　注意：如果還有其他格式，可以再進行添加Disallow：如果允許抓取某一類型的圖片，將“Disallow修改為“Allow即可。
　　注意以上格式中空格和“／的使用
　　j、允許所有搜索引擎抓取，將自己的網站地圖放進robots.txt文件
　　User-agent：*
　　Disallow：
　　Sitemap：http://www.seoqu.com/sitemap1.xml
　　robots.txt存在的問題比較多，大家有什么疑問也可以直接留言，方便進一步完善robots.txt常見問題。