當我們制作網站時，一個完整的網站應該有301個重定向、404個頁面和robots.txt文件，這些都是制作網站所必需的。 其中robots.txt 文件來屏蔽不想被搜索引擎抓取的頁面。

　　robots.txt是搜索引擎中第一個在訪問網站時查看的文件。當搜索引擎訪問網站時，它首先檢查站點根目錄中是否存在robots.txt，如果存在，搜索引擎將根據文件的內容確定訪問范圍。如果文件不存在，那么搜索引擎都可以訪問不受密碼保護的站點上的所有頁面。

　　如果網站因某種原因而被修改或突然刪除大量網頁，但網站上出現大量死鏈接，不利于網站在搜索引擎中的排名。雖然可以直接向百度提交死鏈接，但現在最好方法是直接阻止搜索引擎爬行死鏈接。

　　網站有時候會有不希望被搜索引擎索引的內容，如私有數據、用戶信息、管理背景頁面等，可以由robots.txt屏蔽。

　　使用方法。使用記事本等編輯軟件，在User-agent后添加需要屏蔽的搜索引擎的爬行工具名稱Googlebot、sogou spider等，在Disallow后添加網站的限制目錄/bin/、/admin/等，將文件名命名為robots.txt上傳到網站根目錄即可。

　　例圖：

（非特殊說明，本文版權歸原作者所有，轉載請注明出處 ）
標簽： 上海網站建設、上海網站制作、高端網站設計、邁若網絡

手機隨時獲取邁若動態，掃描左側二維碼
添加邁若微信公眾號【manro_since2005】