python 爬糗事百科

【python 爬糗事百科】的更多相关文章

糗事百科网站段子爬取,糗事百科是我见过的最简单的网站了!!! #-*-coding:utf8-*- import requests import re import sys reload(sys) sys.setdefaultencoding("utf-8") url = 'http://www.qiushibaike.com/hot/page/' page = urls = [] f = open("happy.txt",'w') ,): u = url+str(…

Python爬虫实战：爬糗事百科的段子

一个偶然的机会接触了Python,感觉很好用,但是一直在看c++啥的,也没系统学习.用过之后也荒废了许久.之前想建个公众号自动爬糗事百科的段子,但是没能建起来,真是尴尬,代码上传的服务器上之后,不能正确回复公众号的消息. 听说微信是有个什么调试功能,但我也不会用,后来就开始考试,给忘了这件事.今天看见了之前学习的糗百的爬虫代码,也算是第一次写,写个帖子纪念一下. 从中还是学习了有关正则表达式的许多知识,不过糗百的网页有时候会更新结构,正则表达式就要从写...这个要是能自动生成正则表达式就好了..…

Python爬虫实战（一）：爬糗事百科段子

代码: # _*_ coding:utf-8 _*_ import urllib2 import re from datetime import datetime class QSBK: def __init__(self): self.pageIndex = 1 self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' self.headers = {'User-Agent':self.user_agent} self…

python 多线程糗事百科案例

案例要求参考上一个糗事百科单进程案例 Queue(队列对象) Queue是python中的标准库,可以直接import Queue引用;队列是线程间最常用的交换数据的形式 python下多线程的思考对于资源,加锁是个重要的环节.因为python原生的list,dict等,都是not thread safe的.而Queue,是线程安全的,因此在满足使用条件下,建议使用队列初始化: class Queue.Queue(maxsize) FIFO 先进先出包中的常用方法: Queue.qsize…

Python 之糗事百科多线程爬虫案例

import requests from lxml import etree import json import threading import queue # 采集html类 class GetHtml(threading.Thread): def __init__(self, page_queue): threading.Thread.__init__(self) self.page_queue = page_queue def run(self): self.do_get_html()…

(python)查看糗事百科文字点赞作者等级评论

import requestsimport reheaders = { 'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)'}info_lists = []def judgment_sex(class_name): if class_name == 'womenIcon': return '女' else: return '男'def get_info(url): re…