库:re;selenium;requests 源码: from selenium import webdriverimport reimport requests def open_img(items):    for item in items:        item = re.sub('&','&',item)        rsp =requests.get(item)        yield rsp.content     url ='https://wenku.baidu.c…

详细的讲解我是写在另外一个网址:https://www.yuque.com/docs/share/aacfa45c-22c5-4ef6-be97-cd6849002274 有点尬尴,所以就..... 在这里直接放下另外一个例子(<数学模型答案>)的代码 from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.common.exceptions imp…

先说一下可能用到的一些python知识 一.python中使用的是unicode编码, 而日常文本使用各类编码如:gbk utf-8 等等所以使用python进行文字读写操作时候经常会出现各种错误, 一般都是操作时没有进行转码操作.而转码则需要decode(解码)和encode(编码)方法. 如: str1.decode('gbk'), 表示将gbk编码的字符串'str1'转换成unicode编码. str2.encode('gbk'), 表示将unicode编码的字符串'str2'转换gbk编…

有些时候我们需要用到百度文库的某些文章时,却发现需要会员才能下载,很难受,其实我们可以通过爬虫的方式来获取到我们所需要的文本. 工具:python3.7+selenium+任意一款编辑器 前期准备:可以正常使用的浏览器,这里推荐chrome,一个与浏览器同版本的驱动,这里提供一个下载驱动的链接https://chromedriver.storage.googleapis.com/77.0.3865.40/chromedriver_win32.zip 首先我们来看一下百度文库中这一篇文章https…

今天学习如何使用selenium库来爬取百度文库里面的收费的word文档 from selenium import webdriver from selenium.webdriver.common.keys import Keys from pyquery import PyQuery as pq from selenium.webdriver.support.ui import WebDriverWait from selenium import webdriver import time o…

python爬取某个网页的图片-如百度贴吧 作者:vpoet mail:vpoet_sir@163.com 注:随意copy,不用告诉我 #coding:utf-8 import urllib import urllib2 import re if __name__ =="__main__": rex=r'src="(http://imgsrc.baidu.com/forum/w%3D580.*?\.jpg)"'; Response=urllib2.urlopen(…

Python爬虫初学(二)-- 爬百度贴吧 昨天初步接触了爬虫,实现了爬取网络段子并逐条阅读等功能,详见Python爬虫初学(一). 今天准备对百度贴吧下手了,嘿嘿.依然是跟着这个博客学习的,这次仿照该博主用类的方式写. 其实我从来不玩贴吧,不过据我所知贴吧有一些网友,他们开帖子连载原创小说:还有些网友提供"福利",造福广大网民.嗯,所以今天的目标是这样的: 把分散的连载小说下载到本地 批量下载贴吧图片 一. 下载小说 1. 定义一个类 这次用类来写.实现这个也不难,经过昨天的学习已经…

一.效果如下: 二.运行环境: win10系统:python3:PyCharm 三.QQ机器人用的是qqbot模块 用pip安装命令是: pip install qqbot (前提需要有requests库) 实现自己的机器人:网上好几种写法,很简单,不过有时候环境不同会出现错误,下面是亲测可以运行的: from qqbot import QQBotSlot as qqbotslot, RunBot @qqbotslot def onQQMessage(bot, contact, member,…

Python 爬取陈都灵百度图片 标签(空格分隔): 随笔 今天意外发现了自己以前写的一篇爬虫脚本,爬取的是我的女神陈都灵,尝试运行了一下发现居然还能用.故把脚本贴出来分享一下. import requests import os import json #import random #firsturl='https://image.baidu.com/search/acjson?' #header={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW6…

简单的GET请求: # python2 import urllib2 response = urllib2.urlopen('http://www.baidu.com') html = response.read() print html req = urllib2.Request('http://www.baidu.com') req.add_header('User-Agent', 'Chrome') response = urllib2.urlopen(req) print 'respon…