asp.net简单小爬虫

所谓爬虫简单点说，就是把别人网站上的东西爬下来，至于爬做什么用就看你自己了，比如：把别人网站上的东西爬下来放在自己网站中（感觉有点像小偷^v^）.

这里随便写了一个爬虫代码(可以自己再去进行完善)：

protected void Button1_Click(object sender, EventArgs e)
{
    string htmlcode = GetHTML("http://www.imooc.com/learn/348");
    Regex reg = new Regex("<strong><i class=\"state-expand\"></i>.*</strong>");
    MatchCollection ms = reg.Matches(htmlcode);
    foreach (Match m in ms)
    {
       Response.Write(m.ToString()+"<br>");
    }
}
 
public string GetHTML(string url)
{
    WebClient web = new WebClient();
    byte[] buffer = web.DownloadData(url);
    return Encoding.UTF8.GetString(buffer);
}

这里是从慕课网的一个网页中爬一些章节信息下来(这不是给慕课网打广告，但是里面确实有一些比较好的学习资料，大家可以直接访问http://www.imooc.com/learn/348看看这页的内容)。

代码分析：

1、通过WebClient将对应网页的源码下载下来(适当的编码好，要不是容易出现乱码问题)

2、从源码中抓取出自己需要的信息，这里用的正则表达式去抓取匹配的信息，然后输出来

这样一个简单的爬虫就做好了，大家可以试一试