各大免费IP的网站的反爬手段往往是封掉在一定时间内访问过于频繁的IP,因此在爬取的时候需要设定一定的时间间隔,不过说实话,免费代理很多时候基本都不能用,可能一千个下来只有十几个可以用,而且几分钟之后估计也扑街了.虽然有那种付费的大量代理IP,但是也不见得好,测试过,里面优质的也很少.目前体验比较好的还是私密代理,当然还有其他.贵有贵的道理. import requests import time import random from fake_useragent import UserAgent…