需要阅读的文档: Requests:http://cn.python-requests.org/zh_CN/latest/user/quickstart.html BeautifulSoup:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 说明: 爬虫入口网址:http://www.cninfo.com.cn/cninfo-new/information/companylist 抓取目标:公司代码公司名称.公司公告地址 pyth…

题记: 11月14日早晨8点,人人网发布公告,宣布人人公司将人人网社交平台业务相关资产以2000万美元的现金加4000万美元的股票对价出售予北京多牛传媒,自此,人人公司将专注于境内的二手车业务和在美国的投资业务. 人人网CEO陈一舟说:“很高兴为人人网找到一个新的归宿和起点.” 然而对于人人网曾经近2亿的注册用户来说,哪有什么新的开始,故事已经到了尽头. 彼时,他们还是刚刚逃离高考噩梦的青涩大学生,抓住人人网这个宣泄口乐此不疲地表达着自我:现在,他们苦思冥想记忆中的账号密码,费力登上网站,发布最…

title: python3爬取女神图片,破解盗链问题 date: 2018-04-22 08:26:00 tags: [python3,美女,图片抓取,爬虫, 盗链] comments: true 前言 其实,抓取图片和抓取小说内容没有任何本质的区别,步骤都是一样的. 但是图片读取的时候,会遇到一个盗链问题.这个问题是花的解决时间最长的. 环境 语言: python3 操作系统: mac 10.12.16 自定义工具包:soup_tool 其依赖工具如下: from urllib import…

python3爬取微博评论并存为xlsx**由于微博电脑端的网页版页面比较复杂,我们可以访问手机端的微博网站,网址为:https://m.weibo.cn/一.访问微博网站,找到热门推荐链接我们打开微博网站后看见热门页,按F12查看网页结构后只能看见如下图短短的几个文章. 然后我们将滚动条向下滚动,发现新的文章会在底部加载,原来微博的热门文章加载方式是Ajax加载的,那我们就不能在网页源码中找标签了,我们点击如下图所示的network标签,找找请求地址. 我们查看请求返回值后发现下图的请求返回的…

爬虫 python3爬取网页资源方式(1.最简单: import'http://www.baidu.com/'print2.通过request import'http://www.baidu.com'print1.import urllib.request 'wd''python''opt-webpage''on''ie''gbk'GET和POST请求的不同之处是POST请求通常有"副作用"     'Mozilla/4.0 (compatible; MSIE 5.5; Windows…

Python3 爬取微信好友基本信息,并进行数据清洗 1,登录获取好友基础信息: 好友的获取方法为get_friends,将会返回完整的好友列表. 其中每个好友为一个字典 列表的第一项为本人的账号信息 传入update键为True将可以更新好友列表并返回 ''' 微信: Date:20180918 Author:lizm Description:爬取微信好友.公众号.群聊基本信息,并进行数据清洗 ''' import itchat from pandas import DataFrame imp…

Python3爬取全民k歌 环境 python3.5 + requests 1.通过歌曲主页链接爬取 首先打开歌曲主页,打开开发者工具(F12). 选择Network,点击播放,会发现有一个请求返回的资源是媒体类型,点击查看这个请求,发现是歌曲的链接地址,请求为get请求. 现在查看网页源码发现这个链接隐藏在网页的JS脚本中,至此,我们只需要利用requests库爬取歌曲的主页,然后通过re模块将我们需要的歌曲连接提取出来即可. 2.通过用户主页爬取 首先我们观察用户首页,发现每次加载是8首歌曲…

Python3爬取猫眼电影信息 import json import requests from requests.exceptions import RequestException import re import time #爬取猫眼电影信息 def get_one_page(url): #增加了User-Agent识别,需要在headers中添加User-Agent参数. try: headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; In…

深圳公租房轮候库已经朝着几十万人的规模前进了,这是截至16年10月之前的数据了,贴上来大家体会下 所以17年已更新妥妥的10W+ 今天就拿这个作为爬虫的练手项目 1.环境准备: 操作系统:win10 python版本:python3.5.3 开发工具:sublime 3 python需要安装的库: anaconda 没安装的可以去https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/这里下载,国内镜像比较快: Requests    urllib的…

本以为Python3的中文兼容性无比友好,结果还是会有一点问题的. 解决方案如下,就以爬取我自己的一个网页极简翻译为例 #coding:utf8 import urllib.request import urllib s='你好' s=urllib.parse.quote(s) url = "http://www.selflink.cn/iciba0/?name=%s"%(s) webPage=urllib.request.urlopen(url) data = webPage.rea…