1006看搜狐博客在robots文件中犯下的SEO错误阅读(6949)条2011/10/6 9:30:23

robots.txt这个文件对于SEO朋友来说很熟悉吧，都知道这是蜘蛛访问网站所查看的第一个文件，因为这个文件可以设置spider在您网站上的抓取范围，即可以声明网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分，那么一旦这个文件出现了错误，就很容易导致spider访问出错，那也必然会影响搜索引擎的正常收录，而搜狐博客就出现了这个错误，而且这个错误一直延续了近一年时间（至少从已知的时间来看是近一年了）。1、搜狐博客robots文...阅读全文

Taget：robots SEO 博客