简单的网页采集程序（ASP.NET MVC4）

因为懒人太多，造成现在网页数据采集非常的流行，我也来写个简单的记录一下。

之前写了MVC的基本框架的搭建随笔，后面因为公司太忙，个人感情问题:(，导致不想写了，就写了两篇给删除了，现在就搁浅了，

本人是马鞍山人，喜欢看看老家的招聘信息，看看我有没有机会回家发展，回家找妹子:），这是马鞍山的招聘网站 http://www.masrc.com.cn/

因他的一些信息只显示单位不显示具体的招聘职位，所以我闲着蛋疼，我就想做一个采集站，将数据采集出来，好方便浏览..

下面就是显示的页面，对我这个写代码的来说，根本找不到关于我的职位呀，一个一个的点多累啊，而且他的搜索有点问题，总搜索不出我要的....

看他的HTML代码：

基本都table加A标签的组合，家乡的网站，我就不吐槽了....

注意他的链接格式记录一下: <a class="black_9" href="*">*</a>

开始写代码吧...

我用的是VS2012 + ASP.NET MVC4，请忽略这些细节....

因为不需要默认的样式，所以选择一个空的ASP.NET MVC项目

下面是目录结构

新建一个HomeControllers并建立一个基础Action Index (mvc基础就不讲了，重点是采集对吧)

接下来，根据上面分析的链接方式<a class="black_9" href="*">*</a>

写一段采集需要的正则表达式

            string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>";//分组

这段正则表达式将我需要的信息作了分组，比如说href的指向链接url 和a标签的text文本 在我需要的链接都有，所以需要去掉

现在初步的思路是将web页面的当中的a标签通过这个正则全部取出

先查看该网站文本的编码方式，在获取文本流时需要

如图，该网站用的gb2312的编码方式

下面是采集的代码有注释：

using System;

using System.Collections.Generic;

using System.IO;

using System.Linq;

using System.Net;

using System.Text.RegularExpressions;

using System.Web;

using System.Web.Mvc;

namespace YanNis.WebSite.Collect.MasRC.Controllers

{

    public class HomeController : Controller

    {

        public ActionResult Index()

        {

            //a标签的正则

            string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>";//分组

            //需要采集的页面地址

            string WebLink = "http://www.masrc.com.cn/";

            //创建一个请求

            WebRequest webReq = System.Net.WebRequest.Create(WebLink);

            //获取响应

            WebResponse webRes = webReq.GetResponse();

            //使用GB2312的编码方式 获取响应的文本流

            StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));

            //将文本读出

            string content = sReader.ReadToEnd();

            //正则匹配

            MatchCollection matchCollecti = Regex.Matches(content, htmlregstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline);

            //创建一个Model用于前台查看

            List<WebLink> WebLinks = new List<WebLink>();

            //遍历每一个匹配

            foreach (Match ma in matchCollecti)

            {

                //获取重要的信息

                string title = ma.Groups["text"].Value;

                string link = ma.Groups["url"].Value;

                //因为需要的链接地址都有showMemberzpDetail.asp  所以用他做为过滤

                if (ma.Success && link.IndexOf("showMemberzpDetail") >= )

                {

                    WebLinks.Add(new WebLink

                    {

                        Title = title,

                        Url = link

                    });

                }

            }

            //返回 MODEL

            return View(WebLinks);

        }

    }

    public class WebLink

    {

        public WebLink()

        {

            Desc = new List<WebLink>();

        }

        public string Title { get; set; }

        public string Url { get; set; }

        public List<WebLink> Desc { get; set; }

    }

}

View代码：

@model IEnumerable<YanNis.WebSite.Collect.MasRC.Controllers.WebLink>

<!DOCTYPE html>

<html>

<head>

    <meta name="viewport" content="width=device-width" />

    <title>Index</title>

</head>

<body>

    <div>

        <ul>

            @foreach (var m in Model)

            {

                <li><a href="@m.Url">@m.Title</a></li>

            }

        </ul>

    </div>

</body>

</html>

效果如下：

已经获取了，接下来就要去找到链接页面的详细岗位了，如图：

惯例,查看他的链接代码

还是一样 table+a的组合

还是刚刚那个正则，但是没有font这个标签所以稍加改动

        string Detailhtmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*>(?<text>(?:(?!</?a\b).)*)</a>";

接下来的思路是根据获取指向的链接的页面，将岗位的链接获取在手

using System;

using System.Collections.Generic;

using System.IO;

using System.Linq;

using System.Net;

using System.Text.RegularExpressions;

using System.Web;

using System.Web.Mvc;

namespace YanNis.WebSite.Collect.MasRC.Controllers

{

    public class HomeController : Controller

    {

        string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>";

        string Detailhtmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*>(?<text>(?:(?!</?a\b).)*)</a>";

        public ActionResult Index()

        {

            //a标签的正则

            //需要采集的页面地址

            string url = "http://www.masrc.com.cn/";

            //创建一个请求

            WebRequest webReq = System.Net.WebRequest.Create(url);

            //获取响应

            WebResponse webRes = webReq.GetResponse();

            //使用GB2312的编码方式 获取响应的文本流

            StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));

            //将文本读出

            string content = sReader.ReadToEnd();

            //正则匹配

            MatchCollection matchCollecti = Regex.Matches(content, htmlregstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline);

            //创建一个Model用于前台查看

            List<WebLink> WebLinks = new List<WebLink>();

            //遍历每一个匹配

            foreach (Match ma in matchCollecti)

            {

                //获取重要的信息

                string title = ma.Groups["text"].Value;

                string link = ma.Groups["url"].Value;

                //因为需要的链接地址都有showMemberzpDetail.asp  所以用他做为过滤

                if (ma.Success && link.IndexOf("showMemberzpDetail") >= )

                {

                    WebLinks.Add(new WebLink

                    {

                        Title = title,

                        Url = url + link,

                        Desc = GetDetailData(url + link)

                    });

                }

            }

            //返回 MODEL

            return View(WebLinks);

        }

        public List<WebLink> GetDetailData(string url)

        {

            //创建一个请求

            WebRequest webReq = System.Net.WebRequest.Create(url);

            //获取响应

            WebResponse webRes = webReq.GetResponse();

            //使用GB2312的编码方式 获取响应的文本流

            StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));

            //将文本读出

            string content = sReader.ReadToEnd();

            //正则匹配

            MatchCollection matchCollecti = Regex.Matches(content, Detailhtmlregstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline);

            //创建一个Model用于前台查看

            List<WebLink> WebLinks = new List<WebLink>();

            //遍历每一个匹配

            foreach (Match ma in matchCollecti)

            {

                //获取重要的信息

                string title = ma.Groups["text"].Value;

                string link = ma.Groups["url"].Value;

                //因为需要的链接地址都有showMemberzpDetail.asp  所以用他做为过滤

                if (ma.Success && link.IndexOf("showPosDetail_new") >= )

                {

                    WebLinks.Add(new WebLink

                    {

                        Title = title,

                        Url = url + link

                    });

                }

            }

            return WebLinks;

        }

    }

    public class WebLink

    {

        public WebLink()

        {

            Desc = new List<WebLink>();

        }

        public string Title { get; set; }

        public string Url { get; set; }

        public List<WebLink> Desc { get; set; }

    }

}

VIEW代码

@model IEnumerable<YanNis.WebSite.Collect.MasRC.Controllers.WebLinks>

<!DOCTYPE html>

<html>

<head>

    <meta name="viewport" content="width=device-width" />

    <title>Index</title>

</head>

<body>

    <div>

        <ul>

            @foreach (var m in Model)

            {

                <li><a href="@m.Url">@m.Title</a>

                    <ul>

                        @foreach (var n in m.Desc)

                        {

                          <li><a href="@n.Url">@n.Title</a></li>

                        }

                    </ul>

                </li>

            }

        </ul>

    </div>

</body>

</html>

效果：

有没有发现其实Controller里有很多相同重复的代码，我们可以将其简化，增加可读性，使用递归去获取

简化后的代码:

using System;

using System.Collections.Generic;

using System.IO;

using System.Linq;

using System.Net;

using System.Text.RegularExpressions;

using System.Web;

using System.Web.Mvc;

namespace YanNis.WebSite.Collect.MasRC.Controllers

{

    public class HomeController : Controller

    {

        string urllink = "http://www.masrc.com.cn/";

        public ActionResult Index()

        {

            string htmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*><font[^>]*>(?<text>(?:(?!</?a\b).)*)</font></a>";

            List<WebLinks> WebLinks = GetDetailData("", htmlregstr, "showMemberzpDetail");

            //返回 MODEL

            return View(WebLinks);

        }

        public List<WebLinks> GetDetailData(string url, string Regstr, string Filterstr)

        {

            if (url == "")

                url = urllink;

            //创建一个请求

            WebRequest webReq = System.Net.WebRequest.Create(url);

            //获取响应

            WebResponse webRes = webReq.GetResponse();

            //使用GB2312的编码方式 获取响应的文本流

            StreamReader sReader = new StreamReader(webRes.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));

            //将文本读出

            string content = sReader.ReadToEnd();

            //正则匹配

            MatchCollection matchCollecti = Regex.Matches(content, Regstr, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.Singleline);

            //创建一个Model用于前台查看

            List<WebLinks> WebLinks = new List<WebLinks>();

            //没有了<font> 增加一个<td>

            string Detailhtmlregstr = @"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)?[^>]*>(?<text>(?:(?!</?a\b).)*)</a>";

            //遍历每一个匹配

            foreach (Match ma in matchCollecti)

            {

                //获取重要的信息

                string title = ma.Groups["text"].Value;

                string link = ma.Groups["url"].Value;

                //过滤

                if (ma.Success && link.IndexOf(Filterstr) >= )

                {

                    WebLinks w = new WebLinks()

                    {

                        Title = title,

                        Url = urllink + link

                    };

                    if (Filterstr != "showPosDetail_new")

                        w.Desc = GetDetailData(w.Url, Detailhtmlregstr, "showPosDetail_new");

                    WebLinks.Add(w);

                }

            }

            return WebLinks;

        }

    }

    public class WebLinks

    {

        public WebLinks()

        {

            Desc = new List<WebLinks>();

        }

        public string Title { get; set; }

        public string Url { get; set; }

        public List<WebLinks> Desc { get; set; }

    }

}

很简单吧，采集是多么的简单呀

如何防采集呢，可以学习学习淘宝，之前通过淘宝客链接采集过淘宝的页面，普通办法是无法采集到，只能获取空白的页面，是通过添加修改HEADERS才能获取到，可以借鉴一下。明天就把怎么通过淘宝客的链接获取淘宝宝贝详情页的方法给放出来，我有可能会忘记哦^^

这段代码是作为演示，代码可以继续优化，增加可读性和响应速度，也可改为AJAX异步获取...

简单的网页采集程序（ASP.NET MVC4）的更多相关文章

简单的java采集程序二
继[简单的java采集程序],这里将完成对整个网站的号码段的采集任务. [使用预编译+批处理采集网页内容至数据库表中] 在之前我们用statement类来创建sql语句的执行对象,以 ...
简单java采集程序一
[目标任务]通过该网站采集全国的手机号码段至数据库表中 [完成过程] 1.初涉正则表达式,学会写简单的正则表达式 2.获取单个网页内容,学会java中基本的IO流 3.将获取数据插入mysql数据库表 ...
初入码田--ASP.NET MVC4 Web应用之创建一个空白的MVC应用程序
初入码田--ASP.NET MVC4 Web应用开发之一实现简单的登录初入码田--ASP.NET MVC4 Web应用开发之二实现简单的增删改查 2016-07-29 在此之前,需要一台电脑( ...
构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（37）-文章发布系统④-百万级数据和千万级数据简单测试
原文:构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(37)-文章发布系统④-百万级数据和千万级数据简单测试系列目录我想测试EF在一百万条数据下的显示时间! ...
ASP.NET MVC4简单使用ELMAH记录系统日志
ASP.NET MVC4简单使用ELMAH记录系统日志前言在项目开发.测试以及已经上线的项目中都会存在bug,而如果我们在项目的各个阶段都能及时的监控系统出现的任何问题,那么对于我们开发人员来说完 ...
初入码田--ASP.NET MVC4 Web应用开发之二实现简单的增删改查
初入码田--ASP.NET MVC4 Web应用之创建一个空白的MVC应用程序初入码田--ASP.NET MVC4 Web应用开发之一实现简单的登录 2016-07-29 一.创建M002Adm ...
初入码田--ASP.NET MVC4 Web应用开发之一实现简单的登录
初入码田--ASP.NET MVC4 Web应用之创建一个空白的MVC应用程序初入码田--ASP.NET MVC4 Web应用开发之二实现简单的增删改查 2016-07-24 一.创建T4模板,建 ...
asp.net mvc4 过滤器的简单应用：登录验证
直接上代码,不要说话. ASP.NET MVC4过滤器的简单应用:验证登录 [AcceptVerbs(HttpVerbs.Post)] public ActionResult login(FormCo ...
windows server 2012 r2 iis8.5 部署asp.net mvc4/5程序小结
windows server 2012 r2 iis8.5 部署asp.net mvc4/5程序小结原文链接:http://www.xuanhun521.com/Blog/66d491f8-b479 ...

随机推荐

wechat server的配置
一服务器地址 https://github.com/donal-tong/wechat4server 包括源代码及数据库脚本放在dump文件夹里 1.根据sql脚本创建需要的数据库hcapi,然后命 ...
IC芯片
5.8寸显示屏/LB058WQ1(SD)01LG2 74HC04 0.3NXP10K 74HC138 0.37NXP20K 74HC245 0.52NXP30K 74HC595 明威 ...
VOA学习-South Sudan Must Allow Aid
South Sudan Must Allow Aid The United States is gravelyconcerned by the serious escalation of the hu ...
iOS开发经验总结（上）
在iOS开发中经常需要使用的或不常用的知识点的总结,几年的收藏和积累(踩过的坑). 一. iPhone Size 手机型号屏幕尺寸 iPhone 4 4s 320 * 480 iPhone 5 5s ...
Android EventBus
https://github.com/greenrobot/EventBus onEvent:如果使用onEvent作为订阅函数,那么该事件在哪个线程发布出来的,onEvent就会在这个线程中运行,也 ...
使用摘要流获取文件的MD5
摘要流是过滤流的一种,使用它可以再读取和写入流时获取流的摘要信息(MD5/SHA). 使用摘要流包装流时,需要额外传递一个MessageDigest对象, MessageDigest md=Messa ...
mysql优化概析
优化从几个方面来说: 表结构设计适当索引(主键普通唯一全文组合) mysql本身配置硬件配置 SQL语句优化存储过程分表分区读写分离清理垃圾数据
监听列表ListVIew的滑动状态
/*监听列表的滑动状态:暂时用不到 * SCROLL_STATE_FLING 时让图片不显示,提高滚动性能让滚动小姑更平滑 * SCROLL_STATE_IDLE 时显示当前屏幕可见的图片*/ mLi ...
你不知道的javascript 上卷读书笔记
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
火狐浏览器插件Modify Headers伪造IP地址
安装插件:先打开火狐浏览器 => 找到下载好的 modify_headers.xpi 插件文件 => 鼠标按住插件文件不放,拖拽到火狐浏览器界面 => 按提示重启浏览器 => ...

简单的网页采集程序（ASP.NET MVC4）

简单的网页采集程序（ASP.NET MVC4）的更多相关文章

随机推荐

热门专题