python 爬虫初试

python3.5  抓网易新闻的排行榜上的新闻，主要用自带的request模块和lxml

import re
from urllib import request
from lxml import etree
import threadpool
import threading

htmlcode='gbk'
threadlock=threading.Lock()

testurl="http://news.163.com/rank/"

with request.urlopen(testurl) as f:
    print('Status:', f.status, f.reason)
    #网页的编码格式只取一次，默认所有的编码方式都是这个
    decode=(f.headers['Content-Type'].split(';')[1]).split('=')[1]
    data = f.read().decode(decode.lower())
    infos = re.findall(r'<div class="titleBar" id=".*?"><h2>(.*?)</h2><div class="more"><a href="(.*?)">.*?</a></div></div>', data, re.S)
    for i in range(len(infos)):
        print('%s-%s'%(i,infos[i][0]))
    print('选择新闻类型')
    k=input()
    if k.isdigit()and int(k)<len(infos):
        newpage=(request.urlopen(infos[int(k)][1]).read()).decode(decode.lower())
        dom=etree.HTML(newpage)
        items=dom.xpath('//tr/td/a/text()')
        urls=dom.xpath('//tr/td/a/@href')
        assert (len(items)==len(urls))
        print(len(items))
        for i in range(len(urls)):
            print(items[i])
            new=(request.urlopen(urls[i]).read()).decode(decode.lower())
            ncs=re.findall(r'<div id="endText" class="end-text">.*?</div>',data,re.S)
            newdom=etree.HTML(new)
            newitems=newdom.xpath("//div[@id='endText'and @class='post_text']/p/text()")
            for n in newitems:
                print(n)
            print('=======================输入y继续')
            if 'y'==input():continue
            else:break;
        

多线程版本，用threadpool  直接pip安装的，实测读取同样的50个页面多线程要比上边的要快点，不过这个跟实时网速有关系，不太好具体测试时间

def test2():
    with request.urlopen(testurl) as f:
        htmlcode=(f.headers['Content-Type'].split(';')[1]).split('=')[1]
        data = f.read().decode(htmlcode.lower())
        infos = re.findall(r'<div class="titleBar" id=".*?"><h2>(.*?)</h2><div class="more"><a href="(.*?)">.*?</a></div></div>', data, re.S)
        newpage=(request.urlopen(infos[0][1]).read()).decode(htmlcode.lower())
        dom=etree.HTML(newpage)
        items=dom.xpath('//tr/td/a/text()')
        urls=dom.xpath('//tr/td/a/@href')
        assert (len(items)==len(urls))
        urlss=urls[:50]
        print(len(items))
        news=[]
        args=[]
        [args.append(([i,news],None)) for i in urlss]
        pool=threadpool.ThreadPool(8)
        ress=threadpool.makeRequests(GetNewpage,args)
        [pool.putRequest(req) for req in ress]
        print("start=====%s"%len(urlss))
        pool.wait()
        print("end==========")
        print(len(news))
        print(news[0])
        while(True):
            k=input()
            if not k.isdigit()or int(k)>=len(news):break
            print(news[int(k)])

def GetNewpage(url,news):
    try:
        new=(request.urlopen(url).read()).decode(htmlcode.lower())
        newdom=etree.HTML(new)
        newitems=newdom.xpath("//div[@id='endText'and @class='post_text']/p/text()")
        newcontent=""
        for n in newitems:
            newcontent=newcontent+n
        threadlock.acquire()//
        news.append(newcontent)
        threadlock.release()
    except Exception:
        print('%s------------------error'%url)

threadpool多线程和profile的调用示例，线程的执行函数应该是可以多参数的··，

threadpool 调用示例，线程执行函数有两个参数，穿的参数列表有点奇怪，只有一个参数直接传一个list就可以了

def pooltest():
    a=[1,2,3,4,5,6,7,8,9,10,111]
    b=[]
    args=[]
    [args.append(([i,b],None)) for i in a]
    pool=threadpool.ThreadPool(5)
    ress=threadpool.makeRequests(lambda x,y:y.append(x),args,lambda x,y:print(x.requestID))
    [pool.putRequest(req) for req in ress]
    pool.wait()

profile的调用示例，可以查看函数执行耗时情况

    import profile
    profile.run('test2()','prores')
    import pstats
    p=pstats.Stats('prores')
    p.strip_dirs().sort_stats("cumulative").print_stats(0)//显示前几行，这里设置0 只显示总时间

使用cookie访问需要用户名的网站：

首先你得从浏览器里边吧 对应网站的cookie给弄出来 存在本地文件或者什么地方 ，用的时候直接取出来··

这里本地测试了 百度和豆瓣，百度OK可以获取对应的信息， 豆瓣不行··· 豆瓣最近抽筋，经常无法访问，估计是夏天来了豆瓣太穷买不起空调的原因吧···

从网站返回的是gzip格式的数据，这个是压缩的数据，不能直接解码，要先解压再解码

def cookietest():
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
             'Accept':'*/*',
             'Accept-Language':'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
             'Accept-Encoding':'gzip, deflate, br',
             'Referer':'https://www.douban.com/',
             'Cookie':cookiedouban,
             'Connection':'keep-alive'}

    req=request.Request('https://www.douban.com',headers=headers)
    with request.urlopen(req) as f:
        print('Status:', f.status, f.reason)
        for k, v in f.getheaders():
            print('%s: %s' % (k, v))
        bs=f.read();
        bi = io.BytesIO(bs)
        gf = gzip.GzipFile(fileobj=bi, mode="rb")
        print(gf.read().decode('utf-8'))