爬取http://www.mzitu.com/all里面的图片 import urllib.request import re import os url = 'http://www.mzitu.com/all/' # 爬虫入口 req = urllib.request.Request(url) req.add_header('Referer','http://www.mzitu.com/all/') req.add_header('User-Agent','Mozilla/5.0 (Windo…

python爬虫第一天 太久没折腾爬虫 又要重头开始了....感谢虫师大牛的文章. 接下来的是我的随笔 0x01 获取整个页面 我要爬的是百度贴吧的图,当然也是跟着虫师大牛的思路. 代码如下: #coding=utf-8 import urllib #urllib 模块读取web页面相当于接口 def gethtml(url): #定义一个gethtml函数得到页面 page = urllib.urlopen(url) html = page.read() return html html =…

这只是记录一下自己学习爬虫的过程,可能少了些章法.我使用过的是Python3.x版本,IDE为Pycharm. 这里贴出代码集合,这一份代码也是以防自己以后忘记了什么,方便查阅. import requests #以不同的请求方式获取response r = requests.get('https://api.github.com/events') r = requests.post('http://httpbin.org/post', data = {'key':'value'}) r = r…

打开网站.F12,开启devtools.发现有段代码阻止了我们调试 好的.接下来有几种解决方法 1- 绕过阻止调试方法 方法1(推荐) 鼠标放在debugger该行,左边数字行号那一列.右键选择不在永不在此处暂停 再次点击恢复,就跳出该debbug了 方法2 (抓包改返回) 我用的抓包软件是burp,burp默认不拦截js请求.需要更改成拦截js请求.更改教程 拦截对应代码的文件,将其中内容去掉,保证它发挥不出原本的功能就行 2- 反混淆包含数据的请求代码 经过上一步,我们可以正常调试代码了.这…

import urllib2 response = urllib2.urlopen("http://www.baidu.com") print response.read() 简单的使用urllib2获取一个网页. 注意:在上面代码的第4行是:response.read(),response对象有一个read方法,可以返回获取到的网页内容. 如果不加read,结果是:…

半次元COS图爬取-写在前面 今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay ,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了. 把上面的链接打开之后,被我发现了吧,就知道我的第八感不错滴.接下来就是找入口,一定要找到图片链接的入口才可以做下面的操作 这个页面不断往下拖拽,页面会一直加载,当时当你拖拽一会,就停下来了,就是这个时机 发现入口,在我实际…

半次元COS图爬取-写在前面 今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay ,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了. 把上面的链接打开之后,被我发现了吧,就知道我的第八感不错滴.接下来就是找入口,一定要找到图片链接的入口才可以做下面的操作 这个页面不断往下拖拽,页面会一直加载,当时当你拖拽一会,就停下来了,就是这个时机 发现入口,在我实际…

孤荷凌寒自学python第七十六天开始写Python的第一个爬虫6 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 不过由于对python-docx模块的不熟悉,事实上今天的学习变成了纯粹对docx模块的探索和研究了. 一.对docx模块的学习笔记 (一)docx文档中的样式结构常量 from docx.enum.style import WD_STYLE_TYPE WD_STYLE_TYPE中包含了docx文档需要的所有样式 (包括段落.文字.…

孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import datetime import pymongo import _mty import _mf import _mbs4 import _mmongo import…

孤荷凌寒自学python第七十四天开始写Python的第一个爬虫4 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import datetime import pymongo import _mty import _mf import _mbs4 import _mmongo import…