今天我表弟说帮忙爬一下中国药学科学数据,导出json格式给他.一共18万条数据. 看了一下网站http://pharm.ncmi.cn/dataContent/admin/index.jsp?submenu=183 竟然get请求.不爬你爬谁... #/usr/bin/env python #Guoyabin #-*- coding:utf-8 -*- import re,requests,threading,time def inserttxt(file,text): f=open(file,…

用到模块: 获取网页并解析:import requests,html5lib from bs4 import BeautifulSoup 使用pyecharts的Bar可视化工具"绘制图表",写入HTML文件,附pyecharts官方中文API地址:https://pyecharts.org/#/from pyecharts.charts import Bar 表格主题设置:from pyecharts import optionsfrom pyecharts.globals impo…

网址:http://www.weather.com.cn/textFC/hb.shtml 解析:BeautifulSoup4 爬取所有城市的最低天气   对爬取的数据进行可视化处理 按温度对城市进行排名 取前10个 生成直方图 代码:   结果:  …

使用python爬去拉钩数据 第一步:下载所需模块 requests 进入cmd命令 :pip install requests 回车 联网自动下载 xlwt 进入cmd命令 :pip install xlwt 回车 联网自动下载 第二步:找到你要爬去的网页(我爬去的是拉钩网) 选择浏览器 (火狐.谷歌)我使用的谷歌抓包 编码工具 (idea)( pyCharm)我使用的idea import requests #导入下载过的requesta import xlwt #导入下载过的xlwt #用…

思路:1.根据city.txt文档来获取不同城市code2.获取中国天气网7d和15d不同城市url3.利用requests库请求url获取html内容4.利用beautifulsoup获取7d和15d指定天气数据5.将获取的天气数据保存到csv文件中 # -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup import csv ''' 获取不同城市code ''' def get_citycode(city_n…

Python爬取中国天气网 基于requests库制作的爬虫. 使用方法:打开终端输入 “python3 weather.py 北京(或你所在的城市)" 程序正常运行需要在同文件夹下加入一个“data.csv”文件,内容请参考链接: 城市代码 运行效果: 源码: import sys import re import requests import webbrowser from PIL import Image from requests.exceptions import RequestEx…

Python3 爬取微信好友基本信息,并进行数据清洗 1,登录获取好友基础信息: 好友的获取方法为get_friends,将会返回完整的好友列表. 其中每个好友为一个字典 列表的第一项为本人的账号信息 传入update键为True将可以更新好友列表并返回 ''' 微信: Date:20180918 Author:lizm Description:爬取微信好友.公众号.群聊基本信息,并进行数据清洗 ''' import itchat from pandas import DataFrame imp…

题记: 11月14日早晨8点,人人网发布公告,宣布人人公司将人人网社交平台业务相关资产以2000万美元的现金加4000万美元的股票对价出售予北京多牛传媒,自此,人人公司将专注于境内的二手车业务和在美国的投资业务. 人人网CEO陈一舟说:“很高兴为人人网找到一个新的归宿和起点.” 然而对于人人网曾经近2亿的注册用户来说,哪有什么新的开始,故事已经到了尽头. 彼时,他们还是刚刚逃离高考噩梦的青涩大学生,抓住人人网这个宣泄口乐此不疲地表达着自我:现在,他们苦思冥想记忆中的账号密码,费力登上网站,发布最…

python3爬取微博评论并存为xlsx**由于微博电脑端的网页版页面比较复杂,我们可以访问手机端的微博网站,网址为:https://m.weibo.cn/一.访问微博网站,找到热门推荐链接我们打开微博网站后看见热门页,按F12查看网页结构后只能看见如下图短短的几个文章. 然后我们将滚动条向下滚动,发现新的文章会在底部加载,原来微博的热门文章加载方式是Ajax加载的,那我们就不能在网页源码中找标签了,我们点击如下图所示的network标签,找找请求地址. 我们查看请求返回值后发现下图的请求返回的…

Python3爬取全民k歌 环境 python3.5 + requests 1.通过歌曲主页链接爬取 首先打开歌曲主页,打开开发者工具(F12). 选择Network,点击播放,会发现有一个请求返回的资源是媒体类型,点击查看这个请求,发现是歌曲的链接地址,请求为get请求. 现在查看网页源码发现这个链接隐藏在网页的JS脚本中,至此,我们只需要利用requests库爬取歌曲的主页,然后通过re模块将我们需要的歌曲连接提取出来即可. 2.通过用户主页爬取 首先我们观察用户首页,发现每次加载是8首歌曲…