最近在摸索爬虫相关的东西,写点随笔,以便忘记. 目的与用途 现实的项目中,我们需要太多的第三方接口了.而往往这些第三方接口由于条件限制,一时拿不到. 譬如: 1. 淘宝网今天有什么特价商品. 2. 百度今天的热搜榜是什么. 3. 某用户的水电.话费.煤气有没有欠费,欠了多少. 等等问题,怎么办呢? 解决不了就请程序员出马,因为程序员是万能的,程序员是无敌的. 原理 既然我们没有能力(财力)与阿里巴巴.百度等第三方做对接,那么我们可以通过模拟访问他们对于的页面,并抓取对应的数据,来收集相关的信息.…