搜索引擎通过一种程序robots.txt（又称spider），自动访问互联网上的网页并获取网页信息。robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。robots.txt的存在不但能节约搜索引擎时间成本，而且能提高对我们网站自身爬取的效率，提高我们网站的收录量也有一定帮助的,但是笔者觉得撰写robots.txt有很多需要注意的地方。
