昨天写了一篇关于“c#批量抓取免费代理并验证有效性”的文章，接着昨天的目标继续完成吧，最终实现的目的就是刷新csdn文章的浏览量（实际上很简单，之前博客园的文章也是可以使用代理ip来刷的，后来不行了），刷文章的浏览量本身是可耻的，没有任何意义，当然技术无罪。之前是在csdn写文章，自从csdn改版之后就主要在博客园写。

1.如何维护代理IP库？

想要使用代理IP，那就必须有一个一定数量、足够有效的代理ip库，在学习阶段，随便玩玩那就只能从免费的代理IP网站上抓取,没有一定数量的代理刷文章流浪量非常慢，首先就是要维护好自己的代理Ip库

之前用过的西刺代理、66ip比较靠谱，西祠好像有反扒，遇到过一次，不知道是西祠网站的问题还是反扒的策略，这两个网站每分钟抓取的能用的代理大概有2,3个,这已经算的上比较客观的了， data5u、快代理、ip3366网页端更新的非常少，而且有效性比较低，快代理抓取网页还必须设置Useragent,发现设置后获取的ip的端口和网页端不一致，很玩味是吧，没办法免费的就是这样，不然人家就收费了，当然付费的代理也不稳定，但肯定是比免费的好很多。

  • 维护代理质量

从网页端抓取下来的代理，肯定是要经过验证再入库的，最简单的方式就是发起一个请求状态码是否为200。我推荐的免费代理还是上面两个西刺代理和66ip，相对其他的免费代理有效性、数量都比较高。

  • 代理如何储存

我使用的是redis来存储这些有效代理，数据结构最好是采用Set，不允许存储相同的IP。代理的有效性无法得知，有的可能是几十秒钟，有的几十分钟，在使用的时候应该记录那些多次不能使用的IP，达到一定次数，应该从Set中删除掉。无法确定代理的时效，代理ip要及时使用，可以使用定时器定时从redis中取出代理。

2.反爬虫的一些常见的机制？

反爬虫的原则就是判断是否是一个真实的用户，一些比较重要的数据会利用多种机制混合，让爬虫的代价变大甚至无法爬取,Header里面的字段设置、IP限制、Cookie等

  • IP限制

一些网站为了防止爬虫，可能会对每个ip进行访问频率的限制，访问频率一个是速度，可以同Thread.Sleep来进行休眠，暂停一会儿再进行爬取；一个IP次数这个我们可以通过抓取的免费代理来设置。

  • Header里的限制

User-Agent ：用户代理，这个非常简单，可以收集一些常见的浏览器代理头，在请求的时候随机设置User-Agent

Referer ：访问目标链接是从哪个链接条过来的，做防图片的盗链可以用它来处理，当然这个Refresh也是可以伪造。

Cookie：登录后或其他的一些用户操作，服务端会返回一些cookie信息，没有cookie很容易被识别为伪造请求，可以在本地通过Js，根据服务端返回的一些信息，本地区设置cooke，当然这个实际中并没有这么简单，一般会涉及到加密解密的过程。这个是爬虫的一个难点。

3.使用代理IP刷新csdn文章的浏览量

csdn文章的浏览量还是比较好刷的，前提的是你有足够多的代理，没有更多的代理效率会非常慢。前面一篇文章我们已经从几个免费的代理网站抓取了代理，这里就不多做介绍了，这里我们接着上一篇的拿来就用。c#批量抓取免费代理并验证有效性。1.我使用的多线程批量发送请求，效率更好，每个线程平均分配一定数量的代理执行请求。2.定时获取Redis中代理3.使用System.Collections.Concurrent 命名空间下ConcurrentDictionary字典集合来统计失败的次数，如果达到一定次数就直接从库中删除该代理。关于代码中主要功能是实现，不足的地方就是代理太少，效率不高。

效果如图：

昨天晚上看了篇文章，故事很强大，警惕挂着开源的招牌到处坑蒙拐骗的垃圾项目，比如iBase4J，所以就找到原博主在csdn的这篇文章曝光北京一家不发工资的流氓公司南充巴蜀文化，老板叫万明，刷的时间不短，主要是因为代理太少了。

主要代码如下：

  1.    class Program
  2.      {
  3.          static bool   finishIsCompleted=true;
  4.          static ConcurrentDictionary<string, int> failStatis;//保存请求失败的ip地址:key 失败次数：value
  5.          static string refreshLink = "https://blog.csdn.net/baijifeilong/article/details/80734388";
  6.          static string requestSuccessKey,requestFailKey;
  7.          static async Task Main(string[] args)
  8.          {
  9.  
  10.              ThreadPool.SetMinThreads(, );
  11.              failStatis = new ConcurrentDictionary<string, int>();
  12.              requestSuccessKey = "list_request_success"+DateTime.Now.ToString("hhmm");
  13.              requestFailKey = "list_request_fail" + DateTime.Now.ToString("hhmm");
  14.              Timer timer = new Timer(async (state) =>
  15.              {
  16.                  if (finishIsCompleted)
  17.                  {
  18.                      finishIsCompleted = false;
  19.                      //获取代理
  20.                      var proxyIps = RedisHelper.GetProxy();
  21.                      int threadCount = ;
  22.                      if (proxyIps.Count > )
  23.                      {
  24.                          threadCount = proxyIps.Count / ;
  25.                      }
  26.                      //平均分配给每个thread执行15个请求
  27.                      int requestCount = proxyIps.Count / threadCount;
  28.                      for (var i = ; i < threadCount; i++)
  29.                      {
  30.                          var tempList = proxyIps.GetRange(i * requestCount, requestCount);
  31.                          if (i == threadCount - )
  32.                          {
  33.                              tempList.AddRange(proxyIps.GetRange(threadCount * requestCount, proxyIps.Count - threadCount * requestCount));
  34.                          }
  35.                          Thread thread = new Thread(async () =>
  36.                          {
  37.                              //执行发起请求
  38.                              await Finish(tempList);
  39.                          });
  40.                          thread.Start();
  41.                      }
  42.                  }
  43.              }, "processing timer event", , *);
  44.              Console.ReadLine();
  45.          }
  46.  
  47.          public static async Task Finish(List<string> proxyIps)
  48.          {
  49.              for (int i = ; i < proxyIps.Count; i++)
  50.              {
  51.                  string ip = proxyIps[i];
  52.                  int index = ip.IndexOf(":");
  53.                  string ipAddress = ip.Substring(, index);
  54.                  int ipPort = int.Parse(ip.Substring(index + ));
  55.                  //随机休眠
  56.                  Thread.Sleep(new Random().Next(,)*);
  57.                  await Get(ipAddress, ipPort, , randomUseragent(), refreshLink, () =>
  58.                  {
  59.                      RedisHelper.AddRequestOk(requestSuccessKey,ip+" "+DateTime.Now.ToShortTimeString(),true);
  60.                      Console.ForegroundColor = ConsoleColor.White;
  61.                      Console.WriteLine(ip+" success");
  62.                  },
  63.                  (error) =>
  64.                  {
  65.                      RedisHelper.AddRequestOk(requestFailKey, ip + " " + DateTime.Now.ToShortTimeString(),false);
  66.                      Console.ForegroundColor = ConsoleColor.Red;
  67.                      Console.WriteLine(ipAddress+error+"失败"+(failStatis.ContainsKey(ip)?failStatis[ip] :)+"次");
  68.                      if (failStatis.ContainsKey(ip))
  69.                      {
  70.                          if (failStatis[ip] == )
  71.                          {
  72.                             RedisHelper.RemoveSetValue(ip);
  73.                          }
  74.                          else
  75.                              failStatis[ip]++;
  76.                      }
  77.                      else
  78.                      {
  79.                          failStatis.AddOrUpdate(ip, ,(key,oldValue)=>oldValue+);
  80.                      }
  81.                  }
  82.                  );
  83.              }
  84.              finishIsCompleted = true;
  85.          }
  86.  
  87.          private static string randomUseragent()
  88.          {
  89.              string[] usersagents = new string[] {
  90.              "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
  91.              "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
  92.              "JUC (Linux; U; 2.3.7; zh-cn; MB200; 320*480) UCWEB7.9.3.103/139/999",
  93.              "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0a1) Gecko/20110623 Firefox/7.0a1 Fennec/7.0a1",
  94.              "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
  95.              "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
  96.              "Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/1A542a Safari/419.3",
  97.              "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7",
  98.              "Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10",
  99.              "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
  100.              "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
  101.              "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
  102.              "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
  103.              "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36",
  104.              "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
  105.              "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
  106.              "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
  107.              "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
  108.              "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
  109.              "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER) ",
  110.              "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
  111.              "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
  112.              "Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
  113.              "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
  114.              "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
  115.              "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
  116.              "Openwave/ UCWEB7.0.2.37/28/999",
  117.              "NOKIA5700/ UCWEB7.0.2.37/28/999",
  118.              "UCWEB7.0.2.37/28/999",
  119.              "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
  120.              "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
  121.              "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
  122.              "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
  123.              };
  124.              Random random = new Random();
  125.              var randomNumber = random.Next(, usersagents.Length);
  126.              return usersagents[randomNumber];
  127.          }
  128.          public static async Task  Get(string proxyIp, int proxyPort,int  timeout, string randomUseragent, string url, Action success, Action<string> fail)
  129.          {
  130.              HttpWebRequest request = null;
  131.              HttpWebResponse response = null;
  132.              try
  133.              {
  134.                  request = (HttpWebRequest)WebRequest.Create(url);
  135.                  request.Timeout = timeout;
  136.                  request.UserAgent = randomUseragent;
  137.                  request.Proxy = new WebProxy(proxyIp,proxyPort);
  138.  
  139.                  response =  await request.GetResponseAsync() as  HttpWebResponse;
  140.  
  141.                  if (response.StatusCode == HttpStatusCode.OK)
  142.                  {
  143.                      success();
  144.                  }
  145.                  else
  146.                  {
  147.                      fail(response+":"+response.StatusDescription);
  148.                  }
  149.              }
  150.              catch (Exception ex)
  151.              {
  152.                  fail(ex.Message.ToString());
  153.              }
  154.              finally
  155.              {
  156.                  if (request != null)
  157.                  {
  158.                      request.Abort();
  159.                      request = null;
  160.                  }
  161.                  if (response != null)
  162.                  {
  163.                      response.Close();
  164.                      response = null;
  165.                  }
  166.              }
  167.          }
  168.      }

redisHelper.cs

  1.  1   public class RedisHelper
  2.  2     {
  3.  3         private static readonly object Locker = new object();
  4.  4         private static ConnectionMultiplexer _redis;
  5.  5         private const string CONNECTTIONSTRING = "127.0.0.1:6379,DefaultDatabase=3";
  6.  6         public const string REDIS_SET_KET_SUCCESS = "set_success_ip";
  7.  7         private static ConnectionMultiplexer Manager
  8.  8         {
  9.  9             get
  10. 10             {
  11. 11                 if (_redis == null)
  12. 12                 {
  13. 13                     lock (Locker)
  14. 14                     {
  15. 15                         if (_redis != null) return _redis;
  16. 16                         _redis = GetManager();
  17. 17                         return _redis;
  18. 18                     }
  19. 19                 }
  20. 20                 return _redis;
  21. 21             }
  22. 22         }
  23. 24         private static ConnectionMultiplexer GetManager(string connectionString = null)
  24. 25         {
  25. 26             if (string.IsNullOrEmpty(connectionString))
  26. 27             {
  27. 28                 connectionString = CONNECTTIONSTRING;
  28. 29             }
  29. 30             return ConnectionMultiplexer.Connect(connectionString);
  30. 31         }
  31. 32         public static void AddRequestOk(string key,string value,bool isSuccess)
  32. 33         {
  33. 34             var db = Manager.GetDatabase();
  34. 35             if(isSuccess)
  35. 36                 db.ListLeftPush(key,value);
  36. 37             else
  37. 38                 db.ListLeftPush(key, value);
  38. 39         }
  39. 40         public static List<string> GetProxy()
  40. 41         {
  41. 42             List<string> result = new List<string>();
  42. 43             var db = Manager.GetDatabase();
  43. 44             var values = db.SetMembers(REDIS_SET_KET_SUCCESS);
  44. 45             foreach (var value in values)
  45. 46             {
  46. 47                 result.Add(value.ToString());
  47. 48             }
  48. 49             return result;
  49. 50         }
  50. 51         public static bool InsertSet(string value)
  51. 52         {
  52. 53             var db = Manager.GetDatabase();
  53. 54             return db.SetAdd(REDIS_SET_KET_SUCCESS, value);
  54. 55         }
  55. 56         public static bool RemoveSetValue(string  value)
  56. 57         {
  57. 58             var db = Manager.GetDatabase();
  58. 59             return db.SetRemove(REDIS_SET_KET_SUCCESS,value);
  59. 60         }
  60. 64     }

原文：C#使用代理刷新csdn文章浏览量

原文链接：https://www.cnblogs.com/zhangmumu/p/9275190.html

作者：张林

未经作者许可，可随意转载2018-07-06

C#爬虫使用代理刷csdn文章浏览量的更多相关文章

  1. Python 自动刷博客浏览量

    哈哈,今天的话题有点那什么了哈.咱们应该秉承学习技术的角度来看,那么就开始今天的话题吧. 思路来源 今天很偶然的一个机会,听到别人在谈论现在的"刷量"行为,于是就激发了我的好奇心. ...

  2. phpcms V9首页 频道页 列表页 推荐位 简单获取文章浏览量和评论统计

    phpcms V9首页 频道页 列表页 推荐位 简单获取文章浏览量和评论统计 列表取得数据方法: {pc:content action="lists" catid="$c ...

  3. python通过代理刷网页点击量

    python通过代理刷网页点击量 更新异常处理情况 @time 2013-0803 更新循环里计数问题和随机等待时间问题 #!/usr/bin/python #-*- coding:utf-8 -*- ...

  4. 从SpringBoot构建十万博文聊聊高并发文章浏览量设计

    前言 在经历了,缓存.限流.布隆穿透等等一系列加强功能,十万博客基本算是成型,网站上线以后也加入了百度统计来见证十万+ 的整个过程. 但是百度统计并不能对每篇博文进行详细的浏览量统计,如果做一些热点博 ...

  5. redis实现点击量/浏览量

    java+redis实现高性能新闻点击量更新 1.redis简单介绍.它用来做高性能数据存取 是极好的. 2.实例:新闻点击量. 1)每次刷新,我们并不一定要往数据库里面立即更新数据 2)可以在red ...

  6. 五指cms内容浏览量实现方法

    实现功能:文章浏览量的统计显示 实现的详细:对文章的总浏览量.当天浏览量.当周浏览量.当月浏览量进行统计 实现代码位置:coreframe/app/content/stat.php 实现的详细代码: ...

  7. 使用redis实现【统计文章阅读量】及【最热文章】功能

    1.视图函数 # 不需要登录装饰器,匿名用户也可访问def article_detail(request, id, slug): # print(slug,id) article = get_obje ...

  8. SpringBoot：高并发下浏览量入库设计

    一.背景 文章浏览量统计,low的做法是:用户每次浏览,前端会发送一个GET请求获取一篇文章详情时,会把这篇文章的浏览量+1,存进数据库里. 1.1 这么做,有几个问题: 在GET请求的业务逻辑里进行 ...

  9. (最新)使用爬虫刷CSDN博客访问量——亲测有效

    说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 1.概述 前言:前两天刚写了第一篇博客https://blog.csdn.net/qq_41782425/article/deta ...

随机推荐

  1. Solr(六)Solr索引数据存放到HDFS下

    Solr索引数据存放到HDFS下 一 新建solr core hdfs 方法:http://www.cnblogs.com/Matchman/p/7287385.html 二 修改solrconfig ...

  2. 小白突破百度翻译反爬机制，33行Python代码实现汉译英小工具！

    表弟17岁就没读书了,在我家呆了差不多一年吧. 呆的前几个月,每天上网打游戏,我又不好怎么在言语上管教他,就琢磨着看他要不要跟我学习Python编程.他开始问我Python编程什么?我打开了我给学生上 ...

  3. Windows10 Ubuntu bash 配置 LAMP+JDK+Tomcat

    Windows10的Bash省去了装ubuntu虚拟机的麻烦,而且可以直接用Windows下的浏览器去访问了,Exciting有没有,再也不用去忍受日常崩溃的chromium和慢慢的firefox了. ...

  4. 用户注册登录系统 V2.0

    # 准备空列表 users = [] # 准备当前在线用户 online_user = {} while True: # 打印系统提示 print("欢迎使用 用户注册登录系统V2.0&qu ...

  5. 更新版PowerBI发布了-- Power BI Report Server Update – March 2018

    新版的PowerBI server 和 Desktop 终于发布了.  详细增加功能见以下链接: 下载最新版PowerBI Report Server: https://powerbi.microso ...

  6. servlet3.0 新特性——异步处理

    Servlet 3.0 之前,一个普通 Servlet 的主要工作流程大致如下: 首先,Servlet 接收到请求之后,可能需要对请求携带的数据进行一些预处理: 接着,调用业务接口的某些方法,以完成业 ...

  7. mysql中如何处理字符

    concat函数 使用方法: CONCAT(str1,str2,…) 返回结果为连接参数产生的字符串.如有任何一个参数为NULL ,则返回值为 NULL. 注意: 如果所有参数均为非二进制字符串,则结 ...

  8. S7-200与SMART 200之间进行数据通讯与监控

    S7-200与SMART 200之间进行数据通讯与监控 准备物品:S7-200PLC.SMART200.SCANET模块*2.交换机*1.网线若干. (连接示意图一) 1.在STEP7-MircoWi ...

  9. Masonry中的mas_makeConstraints方法

    2018年04月12日 10:10:54 阅读数:138 一.简单介绍 我们一般来说会这样进行使用 [view mas_makeConstraints:^(MASConstraintMaker *ma ...

  10. cmder中文乱码、文字重叠等问题

    对于玩linux的同学来说,win7中的cmd弱爆了,今天我在微博中看到cmder这个工具,自己安装了,觉得不错,就此分享给大家 下载安装到这里http://bliker.github.io/cmde ...