尚未完善,有待改进 #!/usr/bin/env python3 # -*- coding: utf-8 -*- __author__ = 'jiangwenwen' import pdfkit import time import requests import random from bs4 import BeautifulSoup from fake_useragent import UserAgent # 请求头 ua = UserAgent() headers = { 'cache-c…

本文旨在通过爬取一系列博客网站技术文章的实践,介绍一下scrapy这个python语言中强大的整站爬虫框架的使用.各位童鞋可不要用来干坏事哦,这些技术博客平台也是为了让我们大家更方便的交流.学习.提高的,大家千万要珍惜哦(-_-). 本文目录: 0.开发环境 1.目标介绍 2.爬取目标 2.1.csdn博客 2.1.1 如何判断是否为Ajax方式异步获取的? 2.1.2 爬虫实现 2.1.2.1 修改spider接口实现 2.1.2.2 修改items.py文件 2.1.2.3 修改pipeli…

上次用的是正则匹配文章title 和文章url,因为最近在看Scrapy框架爬虫 需要了解xpath语法 学习了下拿这个例子练手 1.爬取的单页面还是这个rooturl:http://blog.csdn.net/column/details/why-bug.html 2.用requests的 get方法添加一个header 请求rooturl获得网站源代码  不添加header源代码里面是抓不到内容的 3.用lxml下的etree.HTML()方法 将requests请求的html源码(html…

前言 只有光头才能变强 之前有读者问过我:"3y你的博客有没有电子版的呀?我想要份电子版的".我说:"没有啊,我没有弄过电子版的,我这边有个文章导航页面,你可以去文章导航去找来看呀"..然后就没有然后了. 最近也有个读者提过这个问题,然后这两天也没什么事做,所以打算折腾折腾,看看怎么把博客转成PDF. 一.准备工作 要将博客转成PDF,我首先想到的是能不能将markdown文件转成PDF(因为平时我就是用markdown来写博客的). 想了一下,原生markdown…

因为之前写的博客有错误需要修改,但是在Windows Live Writer中找了半天也没找到怎么拉取之前的博客,在[打开本地草稿]或者[打开最近使用过的日志]中,由于存储的项数有限,所以就找不到那篇博客了,在网上百度了,也没找到解决方案,最后还是拉取到了之前写的博客了,很简单的步骤. 选中打开,然后点击其图标,接下来就是下面这个图了,就完成了.简单吧.…

前言 第一次写博客,主要内容是爬取微信公众号的文章,将文章以PDF格式保存在本地. 爬取微信公众号文章(使用wechatsogou) 1.安装 pip install wechatsogou --upgrade wechatsogou是一个基于搜狗微信搜索的微信公众号爬虫接口 2.使用方法 使用方法如下所示 import wechatsogou # captcha_break_time为验证码输入错误的重试次数,默认为1 ws_api = wechatsogou.WechatSogouAPI(c…

前些天无意间看到了“birdben”的博客,写的比较详细,但是最新的文章更新时间是“2017-05-07”,时间很是久远,本打算有时间认真学习一下博主所写的文章,但是担心网站会因为某些原因停止服务,于是想到将博主写的所有文章爬下来保存成pdf,说干就干! 你们可以点击这里,查看博主的网站. 一.使用到的模块 pdfkit:可以将文本.html.url转成pdf,但是需要安装wkhtmltopdf.exe,并获取它的安装路径 pdfkit是基于wkhtmltopdf的python封装,支持url,…

一 . Java爬取B站弹幕 弹幕的存储位置 如何通过B站视频AV号找到弹幕对应的xml文件号 首先爬取视频网页,将对应视频网页源码获得 就可以找到该视频的av号aid=8678034 还有弹幕序号,cid=14295428 弹幕存放位置为  http://comment.bilibili.com/14295428.xml import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpR…

3.生成虚拟数据 为了方便编写程序前台和后台功能,我们在创建数据库模型后就编写生成虚拟数据的函数. 1)管理员 用于生成虚拟管理员信息的fake_admin()函数如下所示: personalBlog/fakes.py: 生成虚拟管理员信息 from personalBlog.models import Admin from personalBlog.extensions import db def fake_admin(): admin = Admin( username = 'admin',…

转载自:https://www.cnblogs.com/sui776265233/p/11146969.html 代码写得很好,但是目前只看得懂前一部分 一.爬取和分析相关依赖包 Python版本: Python3.6 requests: 下载网页 math: 向上取整 time: 暂停进程 pandas:数据分析并保存为csv文件 二.分析网页结构 在拉勾网搜索'python工程师',然后右键点击检查或者F12,,使用检查功能查看网页源代码,当我们点击下一页观察浏览器的搜索栏的url并没有改变…