一次爬虫实践学习(C#)

我们经常浏览网页，有时候看到一些精美的图片，想下载下来保存，但是太多，如果一张一张的下载，那太费时了；如果你喜欢看书，看小说，那么浏览小说网站是常有的事，但是有时候我们不能联网，比如农村老家，如果还想看，我们有没有想过一次性保存到手机里。网站上的小说都是一章一个页面，难道要我们一次一个章节复制粘贴保存？这个事我真的干了，为了一本小说，我连续花了三个小时，目不转睛地盯着电脑复制粘贴。还有抓取别人的网站一些有用数据，为我们服务，比如说找工作的事，买彩票的事等等。

现在我要来实现一个下载他趣网站上性感漂亮女性图片，发现这个网站也是通过别人博客得知的。那些图片很不错，养眼，所以对这个网站感兴趣了，也就有动力了。

今天写这个博客就是为了记录一次学习爬虫过程，分享自己遇到一些问题，以及解决问题的方法经验。

常规思路是，首先打开我们要爬取的网站，然后点击审查网页元素，分析HTML结构如下图

然后就开始写代码，初看这肯定要从HTML元素中获取图片链接了。于是我还下载了Jumony 一个提取网页元素的帮助类。

 url = "http://www.taqu.cn/community/";
            HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);
            using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
            {
                // 请求成功的状态码：200
                if (response.StatusCode == HttpStatusCode.OK)
                {
                    using (Stream stream = response.GetResponseStream())
                    {
                        using (StreamReader reader = new StreamReader(stream))
                        {
                            string html = reader.ReadToEnd();

                            var parser = new JumonyParser();
                            var doc = parser.Parse(html);
                            var lists = doc.Find("#subject_list > ul > li");
                            foreach (var li in lists)
                            {
                                var img = li.FindFirst("img");
                                var src =img.Attribute("src").Value();
                                DownloadImage(src);
                            }
                            //Console.WriteLine(html);
                        }
                    }
                }
                else
                {
                    Console.WriteLine("服务器返回错误：{0}", response.StatusCode);
                }
            }
        

没有想到string html = reader.ReadToEnd(); 获取的是一张算作空白页，根本就没有我审查元素看到的内容，没有我想要的元素，那要怎么办？难道错了？不行呀，于是我又通过这个观察如下图，有图片的请求，也有内容。——原来是ajax请求呀！

再仔细看，不是有请求么，而且有返回数据

点击他趣girl

返回数据

在Headers这一栏里我们可以发现请求头部一些信息，可以请求之后响应一些信息。主要看请求的。

分析得知，在代码里我们要发送请求需要填写哪些内容并注意事项了。代码如下，参考别人的，后面会说明。

  public static string GetContent(string method, string url, string postData = "", CookieContainer cookie = null)
        {
            HttpWebResponse response = null;
            HttpWebRequest request = null;
            if (cookie == null)
                cookie = new CookieContainer();
            // 准备请求...
            try
            {
                // 设置参数
                request = WebRequest.Create(url) as HttpWebRequest;
                request.CookieContainer = cookie;
                request.AllowAutoRedirect = true;
                request.Method = method.ToUpper();
                request.ContentType = "application/json, text/javascript, */*; q=0.01";
                string userAgent = string.Format("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36)");//这个根据电脑不同而改变
                request.UserAgent = userAgent;

                if (method.ToUpper() == "POST")
                {
                    request.ContentLength = postData.Length;
                    if (!string.IsNullOrEmpty(postData))
                    {
                        byte[] data = Encoding.Default.GetBytes(postData);
                        request.ContentLength = data.Length;
                        using (Stream outstream = request.GetRequestStream())
                        {
                            outstream.Write(data, , data.Length);
                        }
                    }
                }
                //发送请求并获取相应回应数据
                response = request.GetResponse() as HttpWebResponse;
                //直到request.GetResponse()程序才开始向目标网页发送Post请求
                using (Stream instream = response.GetResponseStream())
                {
                    using (StreamReader sr = new StreamReader(instream, Encoding.Default))
                    {

                        //返回结果网页（html）代码
                        string content = sr.ReadToEnd();
                        return UnicodeToGB(content);
                    }
                }
            }
            catch (Exception ex)
            {
                string err = ex.Message;
                return err;
            }
            finally
            {
                if (response != null)
                    response.Close();
            }
        }

参考：http://www.cnblogs.com/shoufengwei/p/5654491.html

请求方法是有了，但是返回的数据好像不是汉字哦，是Unicode编码过的数据，于是有了转码这一步

 public static string UnicodeToGB(string text)
        {
            System.Text.RegularExpressions.MatchCollection mc = System.Text.RegularExpressions.Regex.Matches(text, "\\\\u([\\w]{4})");
            if (mc != null && mc.Count > )
            {
                foreach (System.Text.RegularExpressions.Match m2 in mc)
                {
                    string v = m2.Value;
                    string word = v.Substring();
                    byte[] codes = new byte[];
                    int code = Convert.ToInt32(word.Substring(, ), );
                    int code2 = Convert.ToInt32(word.Substring(), );
                    codes[] = (byte)code2;
                    codes[] = (byte)code;
                    text = text.Replace(v, Encoding.Unicode.GetString(codes));
                }
            }
            else
            {

            }
            return text;
        }

参考：http://www.cnblogs.com/guardianf/archive/2012/08/21/2649147.html

但是，但是数据是json，我要怎么获取其中的图片请求链接呢？我首先想到的事json转datatable 然后循环依次获得。想法没有错，但是怎么写，我又不会。只有网上找了，一搜真的不少，满怀喜悦之情，复制粘贴，运行，试了不少，不是这里报错，就是转化不成功，一下子失望透顶了。怎么办，怎么办。想到网上一些现成方法，应该只适合作者的项目，没有通用性，一下子就轻松多了。再找找看，说不定有的。

这里举一个报错的转化方法

/// <summary>
        /// json转换为DataTable
        /// </summary>
        /// <param name="json">需要转化的json格式字符串</param>
        /// <returns></returns>
        public DataTable updateInfo(string json)
        {
            System.Web.Script.Serialization.JavaScriptSerializer jss =new System.Web.Script.Serialization.JavaScriptSerializer();
            object[] obj = (object[])jss.DeserializeObject(json);
            Dictionary<string, object> dic;
            DataRow dr;
            DataTable dt = getDataTable();
            foreach (object _obj in obj)
            {
                dr = dt.NewRow();
                dt.Rows.Add(dr);
                dic = (Dictionary<string, object>)_obj;
                dr["id"] = dic["id"];
                dr["img_url"] = dic["img_url"];
                dr["title"] = dic["title"];

            }
            return dt;
        }

再次改造成功的json转换为DataTable

        /// <summary>
        /// json转换为DataTable
        /// </summary>
        /// <param name="json">需要转化的json格式字符串</param>
        /// <returns></returns>
        public DataTable updateInfo(string json)
        {
            System.Web.Script.Serialization.JavaScriptSerializer jss = new System.Web.Script.Serialization.JavaScriptSerializer();
           // KeyValuePair<string, object> obj = (KeyValuePair<string, object>)jss.DeserializeObject(json);
            var obj = (object)jss.DeserializeObject(json);

            System.Collections.Generic.Dictionary<string, object> xm = (System.Collections.Generic.Dictionary<string, object>)obj;
            DataTable dt = getDataTable();
            DataRow dr;
            Dictionary<string, object> dic;
            object  test="";
            foreach (var x in xm)
            {
                if (x.Key == "info")
                {
                    System.Collections.Generic.Dictionary<string, object> xm3 = (System.Collections.Generic.Dictionary<string, object>)x.Value;

                    foreach (var y in xm3)
                    {
                        if (y.Key == "data")
                        {
                            var  xml = (object [])y.Value;

                            foreach (object _obj in xml)
                            {
                                dr = dt.NewRow();
                                dt.Rows.Add(dr);
                                dic = (Dictionary<string, object>)_obj;
                                dr["id"] = dic["id"];
                                dr["img_url"] = dic["img_url"];
                                dr["title"] = dic["title"];

                            }

                        }
                    }
                }
            }
            return dt;
        }

经历大半天寻找，实践运行总算有一个转化成功的了。

  #region 将json转换为DataTable
        /// <summary>
        /// 将json转换为DataTable 参考 http://www.jb51.net/article/61990.htm
        /// </summary>
        /// <param name="strJson">得到的json</param>
        /// <returns></returns>
        private DataTable JsonToDataTable(string strJson)
        {
            //转换json格式
            strJson = strJson.Replace(",\"", "*\"").Replace("\":", "\"#").ToString();
            //取出表名
            var rg = new Regex(@"(?<={)[^:]+(?=:\[)", RegexOptions.IgnoreCase);
            string strName = rg.Match(strJson).Value;
            DataTable tb = null;
            //去除表名
            strJson = strJson.Substring(strJson.IndexOf("[") + );
            strJson = strJson.Substring(, strJson.IndexOf("]"));
            //获取数据
            rg = new Regex(@"(?<={)[^}]+(?=})");
            MatchCollection mc = rg.Matches(strJson);
            for (int i = ; i < mc.Count; i++)
            {
                string strRow = mc[i].Value;
                string[] strRows = strRow.Split('*');
                //创建表
                if (tb == null)
                {
                    tb = new DataTable();
                    tb.TableName = strName;
                    foreach (string str in strRows)
                    {
                        var dc = new DataColumn();
                        string[] strCell = str.Split('#');
                        if (strCell[].Substring(, ) == "\"")
                        {
                            int a = strCell[].Length;
                            dc.ColumnName = strCell[].Substring(, a - );
                        }
                        else
                        {
                            dc.ColumnName = strCell[];
                        }
                        tb.Columns.Add(dc);
                    }
                    tb.AcceptChanges();
                }
                //增加内容
                DataRow dr = tb.NewRow();
                for (int r = ; r < strRows.Length; r++)
                {
                    dr[r] = strRows[r].Split('#')[].Trim().Replace("，", ",").Replace("：", ":").Replace("\"", "");
                }
                tb.Rows.Add(dr);
                tb.AcceptChanges();
            }
            return tb;
        }
        #endregion

现在连接也有了，最后一般是下载了，我们来分析单个链接。

没有了cookie，我们只要一个一个链接请求下载就可以了。于是我有了两个方法，肯定不止这两个了。

方法一，模仿上面那个有cookie的

 public void  GetContent2(string url, string destFileName, string method)
        {
            HttpWebResponse response = null;
            HttpWebRequest request = null;
            try
            {

                // 设置参数
                //request.Host = "183.60.137.147:80";
              //  request.Address[""] = new Uri("");

                request = WebRequest.Create(url) as HttpWebRequest;
                request.AllowAutoRedirect = true;
                request.Host = "forumimg01.touchcdn.com";
                request.Method = method.ToUpper();
                request.Headers["Accept-Encoding"] = "gzip, deflate, sdch";
                request.ContentType = "image/webp,image/*,*/*;q=0.8";
                string userAgent = string.Format("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36)");//这个根据电脑不同而改变
                request.UserAgent = userAgent;

                //发送请求并获取相应回应数据
                response = request.GetResponse() as HttpWebResponse;
                //直到request.GetResponse()程序才开始向目标网页发送Post请求
                using (Stream instream = response.GetResponseStream())
                {

                        //返回结果网页（html）代码
                        using (FileStream fileStream = new FileStream(destFileName, FileMode.Create))
                        {
                            instream.CopyTo(fileStream);//stream 写入到fileStream中
                        }

                }
            }
            catch (Exception ex)
            {
                string err = ex.Message;
            }
            finally
            {
                if (response != null)
                    response.Close();
            }
        }

方法二，请求整个网页的

 private void DownloadImage2(string objUrl, string destFileName)
        {
           // string destFileName = Path.Combine(destDir, Path.GetFileName(objUrl));
            HttpWebRequest request =
                (HttpWebRequest)HttpWebRequest.Create(objUrl);
            // 欺骗服务器判断URLReferer
            // request.Referer = "http://image.baidu.com";
            using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
            {
                if (response.StatusCode == HttpStatusCode.OK)
                {
                    using (Stream stream = response.GetResponseStream())
                    {
                        using (FileStream fileStream = new FileStream(destFileName, FileMode.Create))
                        {
                            stream.CopyTo(fileStream);//stream 写入到fileStream中
                        }
                    }
                }
                else
                {
                    throw new Exception("下载" + objUrl + "失败，错误码：" + response.StatusCode);
                }
            }
        }

下载保存路径方法

   private void DownloadImage(string id, string objUrl)
        {
            destDir = txtSavePath.Text.Trim();
            if (string.IsNullOrEmpty(destDir))
            {
                MessageBox.Show("请选择要保存的文件夹！");
                return;
            }
            if (!destDir.EndsWith("\\"))
            {
                destDir += "\\";
            }

            string destFileName = Path.Combine(destDir, Path.GetFileName(objUrl));

          //  string urlimg = objUrl + "?imageView/2/w/380/interface/1";这个下载下来是小图，所以不用它才是大图
            DownloadImage2(objUrl, destFileName);
           // GetContent2(objUrl, destFileName, "GET");

        }

点击开始执行

   private void btnStart_Click(object sender, EventArgs e)
        {
          //1到20页
            btnStart.Enabled = false;
            for(int i= ;i<;i++){
                getbasedata(i + );
            }
        }

调用请求方法

  public void getbasedata(int num)//num是页码
        {
            string url = string.Format("http://www.taqu.cn/ajax/Forum/getFindListByTab?tab_id=119&limit=10&score=1468547984&page={0}", num);
            string method = "GET";

            DataTable dt = JsonToDataTable(GetContent(method, url));
            if (dt.Rows.Count > )
            {
                foreach (DataRow dr in dt.Rows)
                {
                    //string urlimg = dr["img_url"].ToString()+ "?imageView/2/w/380/interface/1";
                    DownloadImage(dr["id"].ToString(), dr["img_url"].ToString().Replace(@"\", ""));//这里@符号阻止转义
                    //因为json转化为datatable连接变成这样的了——http:\/\/forumimg01.touchcdn.com\/index\/3e637fe0142008158574c24a278d7804.jpg
                    //正确的是——http://forumimg01.touchcdn.com/index/3e637fe0142008158574c24a278d7804.jpg 所以需要替换
                }
            }
        }

忘了 这个全局的变量 private string destDir; // 目标文件夹

运行的效果

主要和关键代码都放上来了。

窗体代码去这里下载 博客最底端  http://www.cnblogs.com/edisonchou/p/4175190.html

能想到的，都写上了，其实还可以更完善，比如加上IP代理，，一些数据保存到数据库，不过这个工程太大了。这也不是我要写这篇文章的目的，我只要这些图片，这些乐趣。

原来认真做一件事，真的可以获得意想不到的的乐趣，也打开了自己兴趣之门。

原来我也可以做到，不要临渊羡鱼，自己动手一干！

参考：

http://www.cnblogs.com/edisonchou/p/4175190.html

http://www.cnblogs.com/haigege/p/5492177.html