#!/usr/bin/env python # -*- coding: utf-8 -*- # @File : 爬取YY评级基本信息.py # @Author: lattesea # @Date : 2019/10/7 # @Desc : import requests import json import csv from fake_useragent import UserAgent import time import random class YYpingjiSpider(object)…

上次挖了一个坑,今天终于填上了,还记得之前我们做的拉勾爬虫吗?那时我们实现了一页的爬取,今天让我们再接再厉,实现多页爬取,顺便实现职位和公司的关键词搜索功能. 之前的内容就不再介绍了,不熟悉的请一定要去看之前的文章,代码是在之前的基础上修改的 [图文详解]scrapy爬虫与动态页面--爬取拉勾网职位信息(1) 开始 还是回到我们熟悉的页面,这里,我们熟练的打开了Newwork标签,我们点下一页,看会出来什么结果 果然还是跳出来一个页面,但是貌似..网址一样,我打开看一下 和之前不一样也! 一样的…

xlwt 1.3.0 xlwt 文档 xlrd 1.1.0 python操作excel之xlrd 1.Python模块介绍 - xlwt ,什么是xlwt? Python语言中,写入Excel文件的扩展工具. 相应的有扩展包xlrd,专门用于excel读取. 可以实现指定表单.指定单元格的写入. 2.xlwt使用 导入模块 import xlwt 创建workbook,即创建excel,后来要进行保存 workbook = xlwt.Workbook(encoding = 'utf-8') 创建…

Requests+Xpath 爬取租房网站信息 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文 爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html [保存]:参考前文 爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html [动态]:参考前文 爬虫系列4:https://ww…

原文链接:https://mp.weixin.qq.com/s/4EXgR4GkriTnAzVxluJxmg 「itchat」一个开源的微信个人接口,今天我们就用itchat爬取微信好友信息,无图言虚空 三张图分别是「微信好友头像拼接图」.「性别统计图」.「个性签名统计图」 「微信好友头像拼接图」 「性别统计图」 「个性签名统计图」 安装 pip3 install itchat 主要用到的方法: itchat.login() 微信扫描二维码登录 itchat.get_friends() 返回完整…

通过cookies信息爬取 分析header和cookies 通过subtext粘贴处理header和cookies信息 处理后,方便粘贴到代码中 爬取拉钩信息代码 import requests class LagouSpider(object): def __init__(self): self.url ='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false' self.headers ={ "Acce…

之前我们使用了selenium加Firefox作为下载中间件来实现爬取京东的商品信息.但是在大规模的爬取的时候,Firefox消耗资源比较多,因此我们希望换一种资源消耗更小的方法来爬取相关的信息. 下面就使用selenium加PhantomJS来实现之前的相同的逻辑. 这里需要修改的就是spider.py文件,其余的部分并不需要做出修改,我们给phantomjs添加一个User-Agent信息,并且设置不加载图片,这样将会加快渲染的速度. spider.py from scrapy import…

最近在学Python的爬虫,顺便就练习了一下爬取淘宝上的淘女郎信息:手法简单,由于淘宝网站本上做了很多的防爬措施,应此效果不太好! 爬虫的入口:https://mm.taobao.com/json/request_top_list.htm?type=0&page=0 本人代码如下:请各位高人多指教,请留言,不胜感激!! #_*_coding:utf-8_*_ import unicodedata import urllib.request import re import os root_url…

selenium+phantomjs爬取京东商品信息 今天自己实战写了个爬取京东商品信息,和上一篇的思路一样,附上链接:https://www.cnblogs.com/cany/p/10897618.html 打开 https://www.jd.com/ 首先不需要登陆就可搜索,淘宝不一样,所以淘宝我还没试过. 开启F12 定位一下搜索框和搜索按钮 input = WAIT.until(EC.presence_of_element_located((By.XPATH,'//*[@id="key&…

目的:按给定关键词爬取京东商品信息,并保存至mongodb. 字段:title.url.store.store_url.item_id.price.comments_count.comments 工具:requests.lxml.pymongo.concurrent 分析: 1.  https://search.jd.com/Search?keyword=耳机&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=er%27ji&…

一,抓取分析 本次目标是爬取京东商品信息,包括商品的图片,名称,价格,评价人数,店铺名称.抓取入口就是京东的搜索页面,这个链接可以通过直接构造参数访问https://search.jd.com/Search?keyword=iPhone,显示的就是第一页的搜索结果. 页面下方有一个分页导航,包括前7页的链接,下一页的链接和跳转任意页面的链接. 这里的商品显示结果一般都是100页,要获取每一页的内容只需要将页码从1到100遍历即可.所以,我们直接在页面输入框中输入要跳转的页面,点击确定按钮就跳转到…

这是一篇Python爬取CSDN下载资源信息的样例,主要是通过urllib2获取CSDN某个人全部资源的资源URL.资源名称.下载次数.分数等信息.写这篇文章的原因是我想获取自己的资源全部的评论信息.可是因为评论採用JS暂时载入.所以这篇文章先简介怎样人工分析HTML页面爬取信息. 源码 # coding=utf-8 import urllib import time import re import os #*******************************************…

这个是我想爬取的链接:http://www.lagou.com/zhaopin/Python/?labelWords=label 页面显示如下: 在Chrome浏览器中审查元素,找到对应的链接: 然后依次针对相应的链接(比如上面显示的第一个,链接为:http://www.lagou.com/jobs/2234309.html),打开之后查看,下面是我想具体爬取的每个公司岗位相关信息: 针对想要爬取的内容信息,找到html代码标签位置: 找到了相关的位置之后,就可以进行爬取的操作了. 以下是代码部…

目录 一:代码 二:结果如下(部分例子)   这里是爬取豆瓣视频信息,用pyquery库(jquery的python库). 一:代码 from urllib.request import quote from pyquery import PyQuery as pq import requests import pandas as pd def get_text_page(movie_name): ''' 函数功能:获得指定电影名的源代码 参数:电影名 返回值:电影名结果的源代码 ''' url…

requests库是一个简介且简单的处理HTTP请求的第三方库 get()是获取网页最常用的方式,其基本使用方式如下 使用requests库获取HTML页面并将其转换成字符串后,需要进一步解析HTML页面格式,这里我们常用的就是beautifulsoup4库,用于解析和处理HTML和XML 下面这段代码便是爬取百度的信息并简单输出百度的界面信息 import requests from bs4 import BeautifulSoup r=requests.get('http://www.bai…

使用request库和正则表达式爬取猫眼电影信息. 1.爬取目标 猫眼电影TOP100的电影名称,时间,评分,等信息,将结果以文件存储. 2.准备工作 安装request库. 3.代码实现 import json import requests from requests.exceptions import RequestException import re import time def get_one_page(url): try: headers = { 'User-Agent': 'M…

Python3爬取猫眼电影信息 import json import requests from requests.exceptions import RequestException import re import time #爬取猫眼电影信息 def get_one_page(url): #增加了User-Agent识别,需要在headers中添加User-Agent参数. try: headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; In…

今日内容概要 selenium的使用 打码平台使用 xpath使用 爬取京东商品信息 scrapy 介绍和安装 内容详细 1.selenium模块的使用 # 之前咱们学requests,可以发送http请求,但是有的页面是由render+ajax渲染完的,如果只使用requestes,它只能执行render的请求,拿回数据,执行ajax的请求,需要你再去分析,再去发请求 # 使用selenium,控制浏览器,操作浏览器,完成人的行为-->自动化测试工具 # 本质是python通过代码,借助于浏览…

环境: windows,python3.4 参考链接: https://blog.csdn.net/weixin_36604953/article/details/78156605 代码:(亲测可以运行) import requests from bs4 import BeautifulSoup import re import random import time # 爬虫主函数 def mm(url): # 设置目标url,使用requests创建请求 header = { "User-Ag…

简介 用node.js写了一个简单的小爬虫,用来爬取拉勾网上的招聘信息,共爬取了北京.上海.广州.深圳.杭州.西安.成都7个城市的数据,分别以前端.PHP.java.c++.python.Android.ios作为关键词进行爬取,爬到的数据以json格式储存到本地,为了方便观察,我将数据整理了一下供大家参考 数据结果 上述数据为3月13日22时爬取的数据,可大致反映各个城市对不同语言的需求量. 爬取过程展示 控制并发进行爬取 爬取到的数据文件 json数据文件 爬虫程序 实现思路 请求拉钩网的…

前几天领导让写一个从新闻语料中识别上市公司的方案.上市公司属于组织机构的范畴,组织机构识别属于命名实体识别的范畴.命名实体识别包括人名.地名.组织机构等信息的识别. 要想从新闻语料中识别上市公司就需要把上市公司的信息提取出来,需要有上市公司的信息.趁着周末在家没重要事情,顺手写了个爬虫,爬取了上海交易所的上市公司的信息. 好吧,废话不多说直接上代码.说明:本次代码是一次性的,还有优化的空间.例如:多线程.…

作为一名Pythoner,相信大家对Python的就业前景或多或少会有一些关注.索性我们就写一个爬虫去获取一些我们需要的信息,今天我们要爬取的是前程无忧!说干就干!进入到前程无忧的官网,输入关键字"Python",我们会得到下面的页面 我们可以看到这里罗列了"职位名"."公司名"."工作地点"."薪资"."发布时间",那么我们就把这些信息爬取下来吧!确定了需求,下一步我们就审查元素找到我…

最近对Python爬虫比较迷恋,看了些爬虫相关的教程 于是乎跟着一起爬取了58上面的一些商品信息,并存入到xlsx文件中,并通过xlsxwirter的方法给表格设置了一些格式.好了,直接贴代码吧~ #coding:utf-8 from bs4 import BeautifulSoup import requests import sys import xlsxwriter import re reload(sys) sys.setdefaultencoding('utf8') def get_l…

菜鸟一只,也是在尝试并学习和摸索爬虫相关知识. 1.首先分析要爬取页面结构.可以看到一列搜索的结果,现在需要得到每一个链接,然后才能爬取对应页面. 关键代码思路如下: html = getHtml("http://www.zhrczp.com/jobs/jobs_list/key/%E5%BB%BA%E6%98%8E%E9%95%87/page/1.html") soup = BeautifulSoup(html, 'lxml') #声明BeautifulSoup对象 hrefbox…

事由:近期和朋友聊天,聊到黄山酒店事情,需要了解一下黄山的酒店情况,然后就想着用python 爬一些数据出来,做个参考 主要思路:通过查找,基本思路清晰,目标明确,仅仅爬取美团莫一地区的酒店信息,不过于复杂,先完成一个小目标 主要问题: 1. 在爬取美团黄山酒店第一页后,顺利拿到想要的信息,但在点击第二页后,chrome中检查信息能够看见想要的信息,但是查看源代码却没有,思考后,应该是Ajax动态获取的,然后查找办法,最终通过selenium模拟浏览器,然后进行爬取2. 标签查找,通过chrom…

命令行输入pyspider开启pyspider 浏览器打开http://localhost:5000/ group表示组名,几个项目可以同一个组名,方便管理,当组名修改为delete时,项目会在一天后自动删除. status表示项目的状态,TODO工作环境,STOP停用状态,DEBUG调试状态,RUNNING运行状态.当设置为RUNNING状态时,点击右边actions的Run按钮,程序就会跑起来.actions中的Results按钮点击之后,查看程序爬取的结果,如图: 点击右上角,可以以不同格…

我发现现在不用标题党的套路还真不好吸引人,最近在做相关的事情,从而稍微总结出了一些文字.我一贯的想法吧,虽然才疏学浅,但是还是希望能帮助需要的人.博客园实在不适合这种章回体的文章.这里,我贴出正文的前两个部分,算个入口吧. 为了防止在看完了之后觉得其实这不是我的兴趣范围,我先说一下这8个commit都涉及啥,粗略的涉及都有,爬取京东图书编程书籍的名称,标题,价格,好评率.然后涉及如何写log以及多进程. 完整的部分可以在https://rogerzhu.gitbooks.io/python-co…

数据保存本地 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文 爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html [保存]:参考前文 爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html [动态]:参考前文 爬虫系列4:https://www.cnblogs.com/yiz…

利用selenium爬取京东商城的商品信息思路: 1.首先进入京东的搜索页面,分析搜索页面信息可以得到路由结构 2.根据页面信息可以看到京东在搜索页面使用了懒加载,所以为了解决这个问题,使用递归.等待数据全部加载完成. 3.创建下一页的函数去完成点击事件,获取下一页的数据 4.首页处理就直接放在脚本运行就好了. 5.将数据放到mongodb中 可以实现自己定义搜索内容,注意京东的页面数据最大为100页. 不完善的地方: 1.每次都是利用sleep等待加载.浪费时间 2.网速不好程序会因为没有获取…

CrawlSpider Scrapy框架中分两类爬虫,Spider类和CrawlSpider类. 它是Spider的派生类,Spider类的设计原则是只爬取start_url列表中的网页, 而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制,从爬取的网页中获取link并继续爬取的工作更适合. 创建项目指令: scrapy startproject tenCent CrawlSpider创建: scrapy genspider -t crawl crawl_tenc…