简单的网页采集程序（ASP.NET MVC4）
因为懒人太多，造成现在网页数据采集非常的流行，我也来写个简单的记录一下。
之前写了MVC的基本框架的搭建随笔，后面因为公司太忙，个人感情问题:(，导致不想写了，就写了两篇给删除了，现在就搁浅了，
本人是马鞍山人，喜欢看看老家的招聘信息，看看我有没有机会回家发展，回家找妹子:），这是马鞍山的招聘网站 http://www.masrc.com.cn/
因他的一些信息只显示单位不显示具体的招聘职位，所以我闲着蛋疼，我就想做一个采集站，将数据采集出来，好方便浏览..
下面就是显示的页面，对我这个写代码的来说，根本找不到关于我的职位呀，一个一个的点多累啊，而且他的搜索有点问题，总搜索不出我要的....
看他的HTML代码：
基本都table加A标签的组合，家乡的网站，我就不吐槽了....
注意他的链接格式记录一下: <a class="black_9" href="*"><font>*</font></a>
开始写代码吧...
我用的是VS2012 + ASP.NET MVC4，请忽略这些细节....
因为不需要默认的样式，所以选择一个空的ASP.NET MVC项目
下面是目录结构
新建一个HomeControllers并建立一个基础Action Index (mvc基础就不讲了，重点是采集对吧)
接下来，根据上面分析的链接方式<a class="black_9" href="*"><font>*</font></a>
写一段采集需要的正则表达式
string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>";//分组
这段正则表达式将我需要的信息作了分组，比如说href的指向链接url 和a标签的text文本 <font>在我需要的链接都有，所以需要去掉
现在初步的思路是将web页面的当中的a标签通过这个正则全部取出
先查看该网站文本的编码方式，在获取文本流时需要
如图，该网站用的gb2312的编码方式
下面是采集的代码有注释：
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text.RegularExpressions;
using System.Web;
using System.Web.Mvc; namespace YanNis.WebSite.Collect.MasRC.Controllers
{
public class HomeController : Controller
{
public ActionResult Index()
{
//a标签的正则
string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>";//分组 //需要采集的页面地址
string WebLink = "http://www.masrc.com.cn/"; //创建一个请求
WebRequest webReq = System.Net.WebRequest.Create(WebLink); //获取响应
WebResponse webRes = webReq.GetResponse(); //使用GB2312的编码方式 获取响应的文本流
StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312")); //将文本读出
string content = sReader.ReadToEnd(); //正则匹配
MatchCollection matchCollecti = Regex.Matches(content, htmlregstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline); //创建一个Model用于前台查看
List<WebLink> WebLinks = new List<WebLink>(); //遍历每一个匹配
foreach (Match ma in matchCollecti)
{
//获取重要的信息
string title = ma.Groups["text"].Value;
string link = ma.Groups["url"].Value; //因为需要的链接地址都有showMemberzpDetail.asp 所以用他做为过滤
if (ma.Success && link.IndexOf("showMemberzpDetail") >= )
{
WebLinks.Add(new WebLink
{
Title = title,
Url = link
}); }
}
//返回 MODEL
return View(WebLinks);
} } public class WebLink
{
public WebLink()
{
Desc = new List<WebLink>();
} public string Title { get; set; } public string Url { get; set; } public List<WebLink> Desc { get; set; }
} }
View代码：
@model IEnumerable<YanNis.WebSite.Collect.MasRC.Controllers.WebLink> <!DOCTYPE html> <html>
<head>
<meta name="viewport" content="width=device-width" />
<title>Index</title>
</head>
<body>
<div>
<ul>
@foreach (var m in Model)
{
<li><a href="@m.Url">@m.Title</a></li>
} </ul>
</div>
</body>
</html>
效果如下：
已经获取了，接下来就要去找到链接页面的详细岗位了，如图：
惯例,查看他的链接代码
还是一样 table+a的组合
还是刚刚那个正则，但是没有font这个标签所以稍加改动
string Detailhtmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*>(?<text>(?:(?!</?a\b).)*)</a>";
接下来的思路是根据获取指向的链接的页面，将岗位的链接获取在手
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text.RegularExpressions;
using System.Web;
using System.Web.Mvc; namespace YanNis.WebSite.Collect.MasRC.Controllers
{
public class HomeController : Controller
{
string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>"; string Detailhtmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*>(?<text>(?:(?!</?a\b).)*)</a>"; public ActionResult Index()
{
//a标签的正则 //需要采集的页面地址
string url = "http://www.masrc.com.cn/"; //创建一个请求
WebRequest webReq = System.Net.WebRequest.Create(url); //获取响应
WebResponse webRes = webReq.GetResponse(); //使用GB2312的编码方式 获取响应的文本流
StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312")); //将文本读出
string content = sReader.ReadToEnd(); //正则匹配
MatchCollection matchCollecti = Regex.Matches(content, htmlregstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline); //创建一个Model用于前台查看
List<WebLink> WebLinks = new List<WebLink>(); //遍历每一个匹配
foreach (Match ma in matchCollecti)
{
//获取重要的信息
string title = ma.Groups["text"].Value;
string link = ma.Groups["url"].Value; //因为需要的链接地址都有showMemberzpDetail.asp 所以用他做为过滤
if (ma.Success && link.IndexOf("showMemberzpDetail") >= )
{
WebLinks.Add(new WebLink
{
Title = title,
Url = url + link,
Desc = GetDetailData(url + link)
}); }
}
//返回 MODEL
return View(WebLinks);
} public List<WebLink> GetDetailData(string url)
{
//创建一个请求
WebRequest webReq = System.Net.WebRequest.Create(url); //获取响应
WebResponse webRes = webReq.GetResponse(); //使用GB2312的编码方式 获取响应的文本流
StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312")); //将文本读出
string content = sReader.ReadToEnd(); //正则匹配
MatchCollection matchCollecti = Regex.Matches(content, Detailhtmlregstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline); //创建一个Model用于前台查看
List<WebLink> WebLinks = new List<WebLink>(); //遍历每一个匹配
foreach (Match ma in matchCollecti)
{
//获取重要的信息
string title = ma.Groups["text"].Value;
string link = ma.Groups["url"].Value; //因为需要的链接地址都有showMemberzpDetail.asp 所以用他做为过滤
if (ma.Success && link.IndexOf("showPosDetail_new") >= )
{
WebLinks.Add(new WebLink
{
Title = title,
Url = url + link
}); }
} return WebLinks;
} } public class WebLink
{
public WebLink()
{
Desc = new List<WebLink>();
} public string Title { get; set; } public string Url { get; set; } public List<WebLink> Desc { get; set; }
} }
VIEW代码
@model IEnumerable<YanNis.WebSite.Collect.MasRC.Controllers.WebLinks> <!DOCTYPE html> <html>
<head>
<meta name="viewport" content="width=device-width" />
<title>Index</title>
</head>
<body>
<div>
<ul>
@foreach (var m in Model)
{
<li><a href="@m.Url">@m.Title</a>
<ul>
@foreach (var n in m.Desc)
{
<li><a href="@n.Url">@n.Title</a></li>
}
</ul>
</li>
} </ul>
</div>
</body>
</html>
效果：
有没有发现 其实Controller里有很多相同重复的代码，我们可以将其简化，增加可读性，使用递归去获取
简化后的代码:
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text.RegularExpressions;
using System.Web;
using System.Web.Mvc; namespace YanNis.WebSite.Collect.MasRC.Controllers
{
public class HomeController : Controller
{
string urllink = "http://www.masrc.com.cn/"; public ActionResult Index()
{
string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>"; List<WebLinks> WebLinks = GetDetailData("", htmlregstr, "showMemberzpDetail"); //返回 MODEL
return View(WebLinks);
} public List<WebLinks> GetDetailData(string url, string Regstr, string Filterstr)
{
if (url == "")
url = urllink;
//创建一个请求
WebRequest webReq = System.Net.WebRequest.Create(url); //获取响应
WebResponse webRes = webReq.GetResponse(); //使用GB2312的编码方式 获取响应的文本流
StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312")); //将文本读出
string content = sReader.ReadToEnd(); //正则匹配
MatchCollection matchCollecti = Regex.Matches(content, Regstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline); //创建一个Model用于前台查看
List<WebLinks> WebLinks = new List<WebLinks>(); //没有了<font> 增加一个<td>
string Detailhtmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*>(?<text>(?:(?!</?a\b).)*)</a>"; //遍历每一个匹配
foreach (Match ma in matchCollecti)
{
//获取重要的信息
string title = ma.Groups["text"].Value;
string link = ma.Groups["url"].Value; //过滤
if (ma.Success && link.IndexOf(Filterstr) >= )
{
WebLinks w = new WebLinks()
{
Title = title,
Url = urllink + link
};
if (Filterstr != "showPosDetail_new")
w.Desc = GetDetailData(w.Url, Detailhtmlregstr, "showPosDetail_new");
WebLinks.Add(w);
}
}
return WebLinks;
} } public class WebLinks
{
public WebLinks()
{
Desc = new List<WebLinks>();
} public string Title { get; set; } public string Url { get; set; } public List<WebLinks> Desc { get; set; }
} }
很简单吧，采集是多么的简单呀
如何防采集呢，可以学习学习淘宝，之前通过淘宝客链接采集过淘宝的页面，普通办法是无法采集到，只能获取空白的页面，是通过添加修改HEADERS才能获取到，可以借鉴一下。明天就把怎么通过淘宝客的链接获取淘宝宝贝详情页的方法给放出来，我有可能会忘记哦^^
这段代码是作为演示，代码可以继续优化，增加可读性和响应速度，也可改为AJAX异步获取...
简单的网页采集程序（ASP.NET MVC4）的更多相关文章
- 简单的java采集程序二
继[简单的java采集程序],这里将完成对整个网站的号码段的采集任务. [使用预编译+批处理采集网页内容至数据库表中] 在之前我们用statement类来创建sql语句的执行对象,以 ...
- 简单java采集程序一
[目标任务]通过该网站采集全国的手机号码段至数据库表中 [完成过程] 1.初涉正则表达式,学会写简单的正则表达式 2.获取单个网页内容,学会java中基本的IO流 3.将获取数据插入mysql数据库表 ...
- 初入码田--ASP.NET MVC4 Web应用之创建一个空白的MVC应用程序
初入码田--ASP.NET MVC4 Web应用开发之一 实现简单的登录 初入码田--ASP.NET MVC4 Web应用开发之二 实现简单的增删改查 2016-07-29 在此之前,需要一台电脑( ...
- 构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（37）-文章发布系统④-百万级数据和千万级数据简单测试
原文:构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(37)-文章发布系统④-百万级数据和千万级数据简单测试 系列目录 我想测试EF在一百万条数据下的显示时间! ...
- ASP.NET MVC4简单使用ELMAH记录系统日志
ASP.NET MVC4简单使用ELMAH记录系统日志 前言 在项目开发.测试以及已经上线的项目中都会存在bug,而如果我们在项目的各个阶段都能及时的监控系统出现的任何问题,那么对于我们开发人员来说完 ...
- 初入码田--ASP.NET MVC4 Web应用开发之二 实现简单的增删改查
初入码田--ASP.NET MVC4 Web应用之创建一个空白的MVC应用程序 初入码田--ASP.NET MVC4 Web应用开发之一 实现简单的登录 2016-07-29 一.创建M002Adm ...
- 初入码田--ASP.NET MVC4 Web应用开发之一 实现简单的登录
初入码田--ASP.NET MVC4 Web应用之创建一个空白的MVC应用程序 初入码田--ASP.NET MVC4 Web应用开发之二 实现简单的增删改查 2016-07-24 一.创建T4模板,建 ...
- asp.net mvc4 过滤器的简单应用：登录验证
直接上代码,不要说话. ASP.NET MVC4过滤器的简单应用:验证登录 [AcceptVerbs(HttpVerbs.Post)] public ActionResult login(FormCo ...
- windows server 2012 r2 iis8.5 部署asp.net mvc4/5程序小结
windows server 2012 r2 iis8.5 部署asp.net mvc4/5程序小结 原文链接:http://www.xuanhun521.com/Blog/66d491f8-b479 ...
随机推荐
- android103 内容观察者
#内容观察者 * 通过内容提供者可以访问到数据库,当数据库数据改变时,内容提供者会发出通知,在内容提供者的uri上注册一个内容观察者,就可以收到数据改变的通知,类似于广播接受者,但是他不是广播. cr ...
- iOS类初始化
类继承下来的初始化有三种: +(void)load: +(void)initialize: -(instancetype)init: +(void)load:会自动调用(也可手动调用),只要有引用 ...
- python调用smtplib模块发送邮件
#!/usr/bin/env python #coding: utf-8 import smtplib from email.mime.text import MIMEText from email. ...
- 基于u盘安装centos6.0
本人在dell笔记本上尝试安装centos6.0,与win7形成双系统,安装过程如下: 1.使用ultraliso制作u盘启动盘,启动盘以centos6.0的映像文件为源头制作: 2.制作完成后,删除 ...
- ThinkPHP函数详解：cookie方法
cookie函数也是一个多元化操作函数,完成cookie的设置.获取和删除操作. Cookie 用于Cookie 设置.获取.删除操作 用法cookie($name, $value='', $opti ...
- MVC小系列（十五）【MVC+ZTree实现对树的CURD及拖拽操作】
根据上一讲的可以加载一棵大树,这讲讲下如果操作这颗大树 <link href="../../Scripts/JQuery-zTree/css/zTreeStyle/zTreeStyle ...
- iOS--检测野指针
定位野指针除了使用Malloc Scribble(内存涂鸦)外,还可以使用僵尸对象.所谓的僵尸对象,就是将被释放的对象标记为僵尸,系统不会回收这些对象的内存,并让这些内存无法被重用,因而也就不会被覆写 ...
- hpple 简单使用
最近项目使用到hpple,简单说一下使用方式,做做笔记 let responseData = response as! NSData let utf8Html = responseData.strin ...
- html结构，第一节
第1步: 新建一个txt文件,重命名为index.html; 第2步: 打开方式:记事本,输入下面代码: <html> <head> <title>我的第一个网页& ...
- Codevs 5059 一起去打CS
5059 一起去打CS 时间限制: 1 s 空间限制: 32000 KB 题目等级 : 钻石 Diamond 题目描述 Description 早就和lyk约好了去打cs,一直没找着时间,终于今天我家 ...