最近在做网页信息提取这方面的,由于没接触过这系列的知识点,所以逛博客,看文档~~看着finallyly大神的博文和文档,边看边学习边总结~~ 对网站页面进行信息提取,需要进行页面解析,解析的方法有以下几种: 1.利用HTML标记的分布规律进行解析 2.利用HTML标记间的关系进行解析 3.利用页面的视觉特征进行解析 需要人工不断地总结调整规则,需要的规则往往比较多,一条规则的加入会对已经成功解析的网页产生影响.因此,保持规则集的一致性是一大难点. 4.利用TABLE标记的布局特性进行解析.比较常…

利用爬虫技术获取网页源代码后,针对网页抽取出它的特定文本内容,利用正则表达式和抽取工具,能够更好地抽取这些内容. 下面介绍一种抽取工具 -- HtmlParser HtmlParser是一个用来解析HTML文件的java包,主要用于转换.抽取两个方面. 利用HtmlParser可以实现下面内容的抽取: (1)文本抽取.作为一些垂直搜索引擎的检索内容放入数据库中. (2)链接抽取. (3)资源抽取.可以搜索到图像和声音等资源. (4)链接检查.保证链接是有用的. (5)站点检查.可以查看页面不同版…

实现从Web网页提取文本之前,首先要识别网页的编码,有时候还需要进一步识别网页所使用的语言.因为同一种编码可能对应多种语言,例如UTF-8编码可能对应英文或中文等语言. 识别编码整体流程如下: (1)从WEB服务器返回的content type头信息中提取编码,如果是GB2312的编码要当GBK处理. (2)从网页mate标签中识别字符编码,如果content type中的编码不一致,以meta中声明的编码为准. (3)如果仍然无法确定网页所使用的字符集,需要从返回流的二进制格式判断. (4)确…

网络爬虫的基本操作是抓取网页.首先要了解下URL~~ 在理解URL之前,先了解下URI,这两个概念我曾经混淆过~@_@|| 什么是URI? Web上每种可用的资源,如:html文档.视频,图片等都由一个通用的资源标志符(Universal Resources Identifier,即URI)进行定位 URI的组成 URI通常由三部分组成:(1)访问资源的命名机制:(2)存放资源的主机名:(3)资源自身的名称,由路径表示. 例如:http://www.cnblogs.com/lmei/p/3463…

这是我的第一个爬虫代码...算是一份测试版的代码.大牛大神别喷... 通过给定一个初始的地址startPiont然后对网页进行捕捉,然后通过正则表达式对网址进行匹配. List<string> todo :进行抓取的网址的集合 List<string> visited :已经访问过的网址的集合 下面实现的是,给定一个初始地址,然后进行爬虫,输出正在访问的网址和已经访问的网页的个数. 需要注意的是,下面代码实现的链接匹配页面的内容如图一.图二所示: 图一: 图二: 简单代码示范如下:…

由于最近在做毕业设计,需要用到一些简单的浏览器功能,于是学习了一下,顺便写篇博客~~大牛请勿喷,菜鸟练练手~ 实现界面如下:(简单朴素版@_@||) button_go实现如下: private void button_go_Click(object sender, EventArgs e) { string url = comboBox_url.Text.Trim(); webBrowser1.Navigate(url); } //每次浏览网页后,combox_url中的文本变成当前网页的ur…

菜鸟HtmlAgilityPack初体验...弱弱的代码... Html Agility Pack是一个开源项目,为网页提供了标准的DOM API和XPath导航.使用WebBrowser和HttpWebRequest下载的网页可以用Html Agility Pack来解析. HtmlAgilityPack的文档是CHM格式的,有时会无法正常阅读CHM格式的文件.如果是IE不能链接到您请求的网页或者打开后“页面无法显示”.请在要打开的CHM文件上右击属性,会在底下属性多了个“解除锁定”,单击后就…

最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决定试一试~ 于是到https://www.nuget.org/packages/ScrapySharp去看看, 看到这句下载提示:To install ScrapySharp, run the following command in the Package Manager Console PM> Install-Package ScrapySharp 接下去我就去找package man…

上一篇网易新闻页面信息抓取 -- htmlagilitypack搭配scrapysharp中提及了很多如何快速抓取html中的文本的语句, 但是meta标签中的content内容的抓取,没有提及到! 上网搜索了下,发现很少提及,所以写篇随笔,备忘一下! 还是在HtmlAgillityPack搭配ScrapySharp的环境下,具体如何配置点击上一篇链接. 例子:<meta name="keywords" content="召开新闻,自流沟,含油污水" />…

使用httpclient协议访问网络: public class MainActivity extends Activity implements OnClickListener{ public void onClick(View v){ if(v.getId()==R.id.send_request){ sendRequestWithHttpClients(); } } private void sendRequestWithHttpClients(){ new Thread(new Runn…