功能作用

• Robot文件是告訴搜索引擎的蜘蛛，網站的哪些文件目錄可以爬獲取，哪些目錄不要爬獲取。

一、Robot的設置

注意：

• 遵守Robots限制協議，如輸入內容”/"，那麼所有文件都不允許訪問；多個目錄或文件請用回車換行。

• 建議選擇全部開放，默認數據 “Disallow: /目錄”請不要刪除，是不讓Robots抓取的目錄，保護不想公開的內容。

• robots.txt可以告訴百度及其它搜素引擎您網站的哪些頁面可以被抓取，哪些頁面不可以被抓取。

• 您可以通過Robots工具來創建、校驗、更新您的robots.txt文件，讓你的站點在有更好的表現。

• 1.2 設置路徑：登錄後臺—SEO—Robot文件

• 一般用戶默認選擇全部開放即可，有SEO技術基礎的用戶可以自定義設置。