本爬虫任务: 爬虫糗事百科网站(https://www.qiushibaike.com/)--段子版块中所有的[段子].[投票数].[神回复]等内容 步骤: 通过翻页寻找url规律,构造url列表 查看审查元素,发现网页内容均在elements中,可以直接请求 通过xpath提取需要的内容 保存数据 逻辑: 构造外层url列表并进行遍历 对外层url请求访问,获得响应 提取内层url列表 遍历内层url 对内层url请求访问,获取响应 提取需要的数据(段子.投票数.神回复) 保存 代码: 1 i…

为了收集笑话也是挺拼的,我就不相信你所有的都看过了.还有,请问哪位仁兄能指点之下怎么把网上抓取到的图片写到word里面,捉摸了好久都没弄出来.   糗百不需要登录,html直接解析,只要在request的时候加上header就行了,是本菜鸟入手的最佳选择.重点就是正则表达式的匹配上花了很多时间,然后利用bs4获取了热点笑话的页面总数,最后为了方便,就封装成类.该代码抓取了今天24小时内的网站所有热点笑话(当然,图片的笑话就还没实现,有时间在捉摸一下~),写到文件中. 代码(文件参见:https:…

编写qsbk_spider.py爬虫文件 # -*- coding: utf-8 -*- import scrapy from qsbk.items import QsbkItem from scrapy.http.response.html import HtmlResponse from scrapy.selector.unified import SelectorList class QsbkSpiderSpider(scrapy.Spider): name = 'qsbk_spider'…

糗事百科scrapy爬虫笔记 1.response是一个'scrapy.http.response.html.HtmlResponse'对象,可以执行xpath,css语法来提取数据 2.提取出来的数据,是一个'Selector'或者是一个'SelectorList'对象,如果想要获取其中的字符串,那么应该执行'getall'或者'get'方法 3.getall方法,获取'Selector'中的所有文本,返回的是一个列表 4.get方法,获取的是'Selector'中的第一个文本,返回的是一个s…

最近开始学习爬虫,一开始看的是静觅的爬虫系列文章,今天看到糗事百科成人版,心里就邪恶了一下,把图片都爬下来吧,哈哈~ 虽然后来实现了,但还是存在一些问题,暂且不提,先切入正题吧,没什么好说的,直接上代码如下: 环境:Python2.79 #coding: utf-8 import urllib2 import urllib import re import os #糗百成人版抓取图片 class QBAdult: #类初始化 def __init__(self): self.baseURL =…

前言:有时候无聊看一些搞笑的段子,糗事百科还是个不错的网站,所以就想用Python来玩一下.也比较简单,就写出来分享一下.嘿嘿 环境:Python 2.7 + win7 现在开始,打开糗事百科网站,先来分析.地址:https://www.qiushibaike.com 一般像这种都是文本的话,查看源代码就可以看到内容了. 已经可以看到都是在一个class 为content 的div里面,这样就很简单了,直接上正则表达式来匹配就好了. <div.*?class="content"&…

初步爬取糗事百科第一页段子(发布人,发布内容,好笑数和评论数) #-*-coding:utf--*- import urllib import urllib2 import re page = url ='http://www.qiushibaike.com/hot/page/'+str(page) #第一页URL headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/…

import urllib import urllib.request from bs4 import BeautifulSoup """     1.抓取糗事百科所有纯文本段子     2.保存的本地文件 """ class QiuShi():     def __init__(self):         user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'        …

1 首先看下要抓取的页面 这是糗事百科里面的糗图页面,每一页里面有很多的图片,我们要做的就是把这些图片抓取下来. 2 分析网页源代码 发现源代码里面的每张图是这样储存的,所以决定使用正则匹配出图片的url,然后下载下来. 3 编写程序 import requests import re import os def main(): url = 'https://www.qiushibaike.com/pic/page/{}/' ua_headers = { "User-Agent":'M…

1.糗事百科段子.py # 目标:爬取糗事百科段子信息(文字) # 信息包括:作者头像,作者名字,作者等级,段子内容,好笑数目,评论数目 # 解析用学过的几种方法都实验一下①正则表达式.②BeautifulSoup③xpath import requests import re # 正则表达式 import json from bs4 import BeautifulSoup # BS from lxml import etree # xpath def get_one_page(url): r…