依稀记得,在2014年的某一天,一位运营电商平台的多年好朋友,找我帮忙:一个月内,实现抓取竞争对手在某电商平台上的所有产品信息并统计每个产品的点击率. 说出来有些不好意思,那些年,参与过的产品挺多的,有电子商务.大社保.智能家居.电力监控等平台,可惜没一个跟网络爬虫相关的. 尽管没接触过网络爬虫技术,但我相信我能搞定的,关键是朋友很信任我,答应完成后,请我吃海鲜大餐,为了龙虾,拼了. 在网上一顿狂搜后,发现有很多现成的并且开源的网络爬虫代码,只要稍作修改,几乎可以满足要求,无奈大多数是用Pyth…