robots.txt这个文件对于SEO朋友来说很熟悉吧，都知道这是蜘蛛访问网站所查看的第一个文件，因为这个文件可以设置spider在您网站上的抓取范围，即可以声明网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分，那么一旦这个文件出现了错误，就很容易导致spider访问出错，那也必然会影响搜索引擎的正常收录，而搜狐博客就出现了这个错误，而且这个错误一直延续了近一年时间（至少从已知的时间来看是近一年了）。1、搜狐博客robots文件写错近一年其实这点有很多朋友早已发现，那就是robots文件中定义搜索引擎类型的时候将...
未完，继续阅读→关键字：
robots SEO 博客