在抓取您的网站之前，蜘蛛会访问您的robots.txt 文件，以确定您的网站是否会阻止 蜘蛛抓取任何网页或网址。如果您的 robots.txt 文件存在但无法访问（也就是说，如果它没有返回 200 或 404 HTTP 状态代码），就会推迟抓取，以免抓取到禁止网址。在上述情况下，蜘蛛会在成功访问您的 robots.txt 文件后立即返回您的网站并进行抓取。（只有当您的网站包含您不想让搜索引擎编入索引的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容都编入索引，就无需要使用 robots.txt 文件，甚至连空的 robots.txt 文件也不需要。如果您没有 robots.txt 文件，那么您的服务器会在 蜘蛛 请求该文件时返回 404，就会继续抓取您的网站。这不会出现任何问题。）