平时写HttpWebRequest程序抓取html时，我们经常要模拟浏览器进行数据的获取或提交，因此就必须要对http头的相关属性进行设置。但当我需要设置“Host”值的时候，比如：request.Headers.Set("Host", "86y.org");以为万事大吉了，但运行时却提示【无法直接修改标题“Host”】，无法修改！怎么办？在http头中，不仅“Host”不能设置，其他的一些属性也有无法设置的情况，比如“Connection”request.Headers.Set("Connection", "keep-alive");这样写会...未完，继续阅读→
关键字：net 抓取 header 

最近在做一个页面采集的过程中发现，页面抓取后乱码，而且时好时不好。然后发现编码也没有问题，原来是GZIP压缩导致的。在朋友们的热心帮助下终于解决了。下面就贴代码吧,抓取gzip及其它页面防止乱码。核心代码如下：using (HttpWebResponse response = (HttpWebResponse)req.GetResponse()) { if (response.ContentEncoding.ToLower().Contains("gzip")) { using (GZipStream stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress)) ...未完，继续阅读→
关键字：net 抓取 采集 乱码 

越来越多的网站，开始采用"单页面结构"（Single-page application）。整个网站只有一张网页，采用Ajax技术，根据用户的输入，加载不同的内容。这种做法的好处是用户体验好、节省流量，缺点是AJAX内容无法被搜索引擎抓取。举例来说，你有一个网站。　　http://example.com用户通过井号结构的URL，看到不同的内容。　　http://example.com#1　　http://example.com#2　　http://example.com#3但是，搜索引擎只抓取example.com，不会理会井号，因此也就无法索引内容。为了解决这个问题，Google提出了"井号+感叹号"的结构。　　http:...未完，继续阅读→
关键字：seo ajax 搜索引擎