一:引子…

初识python 之 爬虫:使用正则表达式爬取"古诗文"网页数据 的兄弟篇. 详细代码如下: #!/user/bin env python # author:Simple-Sir # time:2019/8/1 14:50 # 爬取糗事百科(文字)网页数据 import requests,re URLHead = 'https://www.qiushibaike.com' def getHtml(url): headers = { 'User-Agent': 'Mozilla/5.0…

通过requests.re(正则表达式) 爬取"古诗文"网页数据. 详细代码如下: #!/user/bin env python # author:Simple-Sir # time:2019/7/31 22:01 # 爬取古诗文网页数据 import re import requests def getHtml(page): ''' 获取网页数据 :param page: 页数 :return: 网页html数据(文本格式) ''' headers = { 'user-agent':…

人生还是要有梦想的,毕竟还有python.比如,通过python来搞一搞彩票(双色球).注:此文仅用于python学习,结果仅作参考.用到知识点:1.爬取网页基础数据2.将数据写入excel文件3.将数据统计结果可视化输出 主要步骤: 1.获取双色球网页中,中奖号码信息数据 2.将数据放入excle(学习使用python将数据写入excel) 3.分别将红球中奖号码.蓝球中奖号码放入两个列表中,用于后续分别统计红球.蓝球出现的中奖次数 4.获取球出现的次数 5.使用可视化工具以柱状图.折线图形式…

用到模块: 获取网页并解析:import requests,html5lib from bs4 import BeautifulSoup 使用pyecharts的Bar可视化工具"绘制图表",写入HTML文件,附pyecharts官方中文API地址:https://pyecharts.org/#/from pyecharts.charts import Bar 表格主题设置:from pyecharts import optionsfrom pyecharts.globals impo…

用到的主要知识点:requests.get 获取网页HTMLetree.HTML 使用lxml解析器解析网页xpath 使用xpath获取网页标签信息.图片地址request.urlretrieve 下载图片(注:该网站使用urlretrieve下载图片时,返回403错误.原因目前未知!) 改用 with as 下载图片:with open('文件地址及名字', 'wb') as f: f.write(res.content) 详细代码如下: #!/user/bin env python # a…

主要用到lxml的etree解析网页代码,xpath获取HTML标签. 代码如下: 1 #!/user/bin env python 2 # author:Simple-Sir 3 # time:2019/7/17 22:08 4 # 获取豆瓣网正在上映电影最热评论 5 import requests 6 from lxml import etree 7 8 # 伪装浏览器 9 headers ={ 10 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; W…

注:此代码仅用于个人爱好学习使用,不涉及任何商业行为!  话不多说,直接上代码: 1 #!/user/bin env python 2 # author:Simple-Sir 3 # time:2019/7/20 20:36 4 # 获取电影天堂详细信息 5 import requests 6 from lxml import etree 7 8 # 伪装浏览器 9 HEADERS ={ 10 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)…

本次以scrapy抓取拉勾网职位信息作为scrapy学习的一个实战演练 python版本:3.7.1 框架:scrapy(pip直接安装可能会报错,如果是vc++环境不满足,建议直接安装一个visual studio一劳永逸,如果报错缺少前置依赖,就先安装依赖) 本篇主要对scrapy生成爬虫项目做一个基本的介绍 tips:在任意目录打开cmd的方式可以使用下面这两种方式 shift + 右键打开cmd(window10的powershell你可以简单理解为cmd升级版) 在路径框直接输入cmd…

python中正则表达式功能由 re 模块提供: import re 两个主要函数: match  匹配第一个字符(从第一个字符开始匹配) search 匹配整个字符串 一.匹配单个字符 1.匹配某个字符(串) text = 'hello' ret = re.match('hel',text) # 从字第1个字符开始匹配,若不匹配就不会匹配到数据 # ret = re.search('l',text) # 在整个字符串中查找是否存在此字符 print(ret.group()) # hel 2..…