(资料图片)
1、Anny说的不错，是放在根目录，蜘蛛进入网站是进入网站的根目录。
2、根据根目录的结构来爬取，所以这就体现了首页的重要性，同样的道理。
3、robots.txt是一个蜘蛛的协议，蜘蛛到一个网站之后，第一个就会看一下有哪些是可以爬取的。
4、哪些是禁止爬取的！所以放在根目录是无可厚非的！。
本文到此讲解完毕了，希望对大家有帮助。
关键词：
robots.txt文件功能（robots txt文件）
2023-08-13 23:09:06
来源：互联网
为您推荐
-
科技日报2022-05-20
-
湖南日报2022-03-18
-
湖南日报2022-03-18
-
湖南日报2022-03-18
-
湖南日报2022-03-18
-
湖南日报2022-03-18
-
湖南日报2022-03-18
-
打造“中非经贸数字智谷” 湖南与360集团签署战略合作协议
11日，省商务厅与360集团旗下的三六零数字安全科技集团，就促进中非经贸数字化发展签署战略合作协议。根据合作协议，湖南将与三六零数字安[详细]
湖南日报2022-03-18 -
推荐252个重点新产品！湖南发布2021年度新产品推荐目录
为鼓励和支持企业新产品开发及产业化，省工信厅近日发布《2021年度湖南省工业和信息化重点新产品推荐目录》，推荐252个重点新产品，其中不[详细]
湖南日报2022-03-18 -
湖南日报2022-03-18
