''' 爬取所有T信好友的信息 ''' import itchat from pandas import DataFrame itchat.login() friends=itchat.get_friends(update=True)[0:] def get_var(var): variable=[] for i in friends: value=i[var] variable.append(value) return variable NickName=get_var('NickName')…

''' 爬取所有T信好友的信息 ''' import itchat from pandas import DataFrame itchat.login() friends=itchat.get_friends(update=True)[0:] def get_var(var): variable=[] for i in friends: value=i[var] variable.append(value) return variable NickName=get_var('NickName')…

使用python爬取medsci上的期刊信息,通过设定条件,然后获取相应的期刊的的影响因子排名,期刊名称,英文全称和影响因子.主要过程如下: 首先,通过分析网站http://www.medsci.cn/sci的交互过程.可以使用谷歌或火狐浏览器的“审查元素-->Network”,然后就可以看到操作页面就可以看到网站的交互信息.当在网页上点击“我要查询”时,网页会发送一个POST消息给服务器,然后,服务器返回查询结果 然后,将查询到的结果使用正则表达式提取出需要的数据. 最后将提取出的数据输出到文…

python爬取当当网的书籍信息并保存到csv文件 依赖的库: requests #用来获取页面内容 BeautifulSoup #opython3不能安装BeautifulSoup,但可以安装BeautifulSoup4(pip install bs4) 此实验爬取了当当网中关于深度学习的书籍,内容包括书籍名称.作者.出版社.当前价钱.为方便,此实验只爬取搜索出来的一个页面的书籍.具体步骤如下: 1 打开当当网,搜索"深度学习",等待页面加载,获取当前网址 "http://…

今天利用xpath写了一个小爬虫,比较适合一些爬虫新手来学习.话不多说,开始今天的正题,我会利用一个案例来介绍下xpath如何对网页进行解析的,以及如何对信息进行提取的. python环境:python3.5 先看看网页的样子 豆瓣电影网站链接 我们下面将要对电影的名字.链接.评分.评价人数和一句话描述这些信息进行提取1.检查并复制电影名字的xPath信息 电影<肖申克的救赎>的xPath信息如下://*[@id=”content”]/div/div[1]/ol/li[1]/div/div[2…

买了本书<精通Python网络爬虫>,看完了第6章,我感觉我好像可以干点什么:学的不多,其中的笔记我放到了GitHub上:https://github.com/NSGUF/PythonLeaning/blob/master/examle-urllib.py,因为我用的python3.0,所以,在爬取数据的时候只用到了一个包:urllib.该博文的源码:https://github.com/NSGUF/PythonLeaning/blob/master/APPInfo.py 思路:首先,如果进入…

网易商品评论爬取 分析网页 评论分析 进入到网易精选官网,搜索“文胸”后,先随便点进一个商品. 在商品页面,打开 Chrome 的控制台,切换至 Network 页,再把商品页Python入门到精通学习教程请加群,面切换到评价标签下,选择一个评论文字,如“薄款.穿着舒适.满意”,在 Network 中搜索.219539519零基础,进阶欢迎加入 可以发现,评论文字是通过 listByItemByTag.json 传递过来的,点击进入该请求,并拷贝出该请求的 URL: 将该 URL 放入 Post…

测试了下,采用单进程爬取5000条数据大概需要22分钟,速度太慢了点.我们把脚本改进下,采用多进程. 首先获取所有要爬取的URL,在这里不建议使用集合,字典或列表的数据类型来保存这些URL,因为数据量太大,太消耗内存,这里,python的生成器就发挥作用了. def get_urls(total_page,cityname,jobname): ''' 获取需要爬取的URL以及部分职位信息 :param start: 开始的工作条数 :param cityname: 城市名 :param jobn…

我们先通过百度搜索智联招聘,进入智联招聘官网,一看,傻眼了,需要登录才能查看招聘信息 没办法,用账号登录进去,登录后的网页如下: 输入职位名称点击搜索,显示如下网页: 把这个URL:https://sou.zhaopin.com/?jl=765&kw=软件测试&kt=3   拷贝下来,退出登录,再在浏览器地址栏输入复制下来的URL 哈哈,居然不用登录,也可以显示搜索的职位信息.好了,到这一步,目的达成. 接下来,我们来分析下页面,打开浏览器的开发者工具,选择Network,查看XHR,重新…

获取B站视频弹幕,相对来说很简单,需要用到的知识点有requests.re两个库.requests用来获得网页信息,re正则匹配获取你需要的信息,当然还有其他的方法,例如Xpath.进入你所观看的视频的页面,F12进入开发者工具,选择网络.查找我们需要的信息,发现域名那列有comment.bilibili.com 格式为xml ,文件名即为cid号.点击它后,在右边的消息头中复制请求网址,在浏览器中打开,即可获得视频全部弹幕信息.    代码如下: import requests import…