閱讀461 返回首頁    go 其它幫助


robots.txt文件放在哪裏?

robots.txt文件應該放置在網站根目錄下。舉例來說,當spider訪問一個網站(比如http://www.abc.com)時,首先會檢查該網站中是否存在http://www.abc.com/robots.txt這個文件,如果Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的範圍。

網站 URL 相應的 robots.txt的 URL
http://www.w3.org/ http://www.w3.org/robots.txt
http://www.w3.org:80/ http://www.w3.org:80/robots.txt
http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt
http://w3.org/ http://w3.org/robots.txt

最後更新:2011-05-25 20:58:37

  上一篇:go 如何禁止搜索引擎跟蹤網頁的鏈接,而隻對網頁建索引
  下一篇:go 什麼是robots.txt?