注意点: """ 1.用命令创建一个crawlspider的模板:scrapy genspider -t crawl <爬虫名> <all_domain>,也可以手动创建 2.CrawlSpider中不能再有以parse为名字的数据提取方法,这个方法被CrawlSpider用来实现基础url提取等功能 3.一个Rule对象接受很多参数,首先第一个是包含url规则的LinkExtractor对象, 常有的还有callback(制定满足规则的解析函数的字符…

Python 装饰器初探 在谈及Python的时候,装饰器一直就是道绕不过去的坎.面试的时候,也经常会被问及装饰器的相关知识.总感觉自己的理解很浅显,不够深刻.是时候做出改变,对Python的装饰器做个全面的了解了. 1. 函数装饰器 直接上代码,看看装饰器到底干了些什么? from functools import wraps import time def time_cost(func): @wraps(func) def f(*args, **kwargs): start_time = t…

pdb 调试: import pdb pdb.set_trace()     pudb 调试: http://python.jobbole.com/82638/…

现在经常需要在网页中获取相关内容. 其中无非获取网页返回状态,以及查看网页获取的内容几个方面,那么在这方面来看requests可能比urllib2库更简便一些. 比如:先用方法获取网页 r = requests.get("http://www.baidu.com") #查看返回码 r.status_code #查看获取的网页内容 r.text #如果网页返回的是一个json串,也可以比较方便获取 kk = r.json() print kk #查看网页的编码格式 r.encoding…

转载自:http://www.lingcc.com/2011/12/15/11902/#sec-1 日常使用python编程时,为了用某个代码模块,通常需要在代码中先import相应的module.那么python的import是如何工作的呢? Table of Contents 1 如何使用import 2 import语句针对单个模块文件的工作方式 3 import语句针对模块包的工作方式 4 总结及深入阅读 5 参考 1 如何使用import 对于大型的软件项目,模块化的管理非常有必要.于…

python3安装intel的加速库: conda config --add channels intel conda create --name intelpy intelpython3_full python=3 然后在linux下:~/anaconda3/envs/intelpy/bin/conda install --name intelpy keras 是可以安装keras的,但是在我mac下会出错!蛋疼!!! 测试程序: import numpy as np import time…

python 编写server的步骤: 1. 第一步是创建socket对象.调用socket构造函数.如: socket = socket.socket( family, type ) family参数代表地址家族,可为AF_INET或AF_UNIX. AF_INET家族包括Internet地址,AF_UNIX家族用于同一台机器上的进程间通信. type参数代表套接字类型,可为SOCK_STREAM(流套接字)和SOCK_DGRAM(数据报套接字). 2. 第二步是将socket绑定到指定地址.…

Python爬虫目前是基于requests包,下面是该包的文档,查一些资料还是比较方便. http://docs.python-requests.org/en/master/ POST发送内容格式 爬取某旅游网站的产品评论,通过分析,获取json文件需要POST指令.简单来说: GET是将需要发送的信息直接添加在网址后面发送 POST方式是发送一个另外的内容到服务器 那么通过POST发送的内容可以大概有三种,即form.json和multipart,目前先介绍前两种 1.content in f…

使用 pytesser 与 pytesseract 识别验证码 前置 :  首先需要安装  tesserract tesserract windows 安装包及中文 https://pan.baidu.com/s/1BctsL9ZlU6Y4Zg9cLwlAIg   安装好之后,建议将中文资源包放到下面目录下 是否要进行如下操作,我忘了,这段修改参考最下面的引用. 2,安装完成tesseract-ocr后,我们还需要做一下配置 在C:\Users\huxiu\AppData\Local\Progr…

Get发送内容格式 Get方式主要需要发送headers.url.cookies.params等部分的内容. t = requests.get(url, headers = header, params = content, cookies = newscookies) 基本上发送以上四个变量即可,以下是示例代码. url = 'https://weibo.com/a/aj/transform/loadingmoreunlogin' content = { 'ajwvr': 6, 'catego…