C# 使用HtmlAgilityPack抓取网页信息

前几天看到一篇博文：C# 爬虫 抓取小说

博主使用的是正则表达式获取小说的名字、目录以及内容。

下面使用HtmlAgilityPack来改写原博主的代码

在使用HtmlAgilityPack之前，可以先熟悉一下XPath：点我

代码如下:

 using System;
 using System.IO;
 using System.Text;
 using HtmlAgilityPack;

 namespace HtmlAgilityPackDemo
 {
     class Program
     {
         static void Main(string[] args)
         {
             HtmlWeb htmlWeb = new HtmlWeb();
             HtmlDocument document = htmlWeb.Load("http://www.23us.so/files/article/html/13/13655/index.html");
             FileStream fs = new FileStream("无疆.txt", FileMode.Append, FileAccess.Write);
             StreamWriter sr = new StreamWriter(fs, Encoding.UTF8);
             try
             {
                 HtmlNodeCollection nodeCollection = document.DocumentNode.SelectNodes(@"//table/tr/td/a[@href]"); //  //代表获取所有
                 foreach (var node in nodeCollection)
                 {
                     HtmlAttribute attribute = node.Attributes["href"];
                     string val = attribute.Value;
                     var title = htmlWeb.Load(val).DocumentNode.SelectNodes(@"//h1")[].InnerText; //文章标题
                     var doc = htmlWeb.Load(val).DocumentNode.SelectNodes(@"//dd[@id='contents']");//文章内容
                     var content = doc[].InnerHtml.Replace("&nbsp;", "").Replace("<br>", "\r\n");
                     sr.WriteLine("\r\n" + title + "\r\n" + content); // 开始写入
                 }
             }
             catch (Exception ex)
             {
                 Console.WriteLine(ex.ToString());
             }
             finally
             {
                 sr.Close();
                 fs.Close();
             }
             Console.WriteLine("ok");
             Console.ReadKey(true);

         }

     }
 }

实现效果和原博主一样!

代码仅供参考！！！