这几天在忙一个爬虫程序,一直在改进他,从一开始的单线程,好几秒一张图片(网络不好),,,到现在每秒钟十几张图片,,, 四个小时586万条数据,,,简直不要太爽 先上图 最终写出来的程序,线程数已经可以动态调整了,贼暴力...峰值能稳定在50个线程,具体思路可以继续看 这里终于用到了操作系统的知识,就是生产者和消费者的模型...(参考源码忘记记录了,抱歉 先简单说一下目标网站的情况,目标网站是一个图片网站,有一个列表页,点进列表页之后,可以看到很多图片,这只爬虫的目的是收集这些图片链接(有了链接当…