0729C#.NET用HttpWebRequest 添加 headr 解决方法阅读(32214)条2017/7/29 11:34:14

平时写HttpWebRequest程序抓取html时，我们经常要模拟浏览器进行数据的获取或提交，因此就必须要对http头的相关属性进行设置。但当我需要设置“Host”值的时候，比如：request.Headers.Set("Host", "86y.org");以为万事大吉了，但运行时却提示【无法直接修改标题“Host”】，无法修改！怎么办？在http头中，不仅“Host”不能设置，其他的一些属性也有无法设置的情况，比如“Connection&r...阅读全文

Taget：net 抓取 header 

0712c#net如何抓取gzip及其它页面防止乱码阅读(8182)条2014/7/12 13:21:28

最近在做一个页面采集的过程中发现，页面抓取后乱码，而且时好时不好。然后发现编码也没有问题，原来是GZIP压缩导致的。在朋友们的热心帮助下终于解决了。下面就贴代码吧,抓取gzip及其它页面防止乱码。核心代码如下：using (HttpWebResponse response = (HttpWebResponse)req.GetResponse()) { if (response.ContentEncoding.ToLower().Contains("gzip")) { using (GZipStream stre...阅读全文

Taget：net 抓取 采集 乱码 

0716如何让搜索引擎抓取AJAX内容？阅读(6914)条2013/7/16 13:37:21

越来越多的网站，开始采用"单页面结构"（Single-page application）。整个网站只有一张网页，采用Ajax技术，根据用户的输入，加载不同的内容。这种做法的好处是用户体验好、节省流量，缺点是AJAX内容无法被搜索引擎抓取。举例来说，你有一个网站。　　http://example.com用户通过井号结构的URL，看到不同的内容。　　http://example.com#1　　http://example.com#2　　http://example.com#3但是，搜索引擎只抓取example.com，不会理会井号，因此也就...阅读全文

Taget：seo ajax 搜索引擎