使用urllib和http.cookiejar获取python老男孩学员成绩

打开http://crm.oldboyedu.com/crm/grade/single/ 鼠标右键查看源代码，可以看到我们需要post的name。如下：

这里需要在post试提交token和search_str的值，这里的token应该使用时效性的。可以一次获取，短时间内多次使用。

在没有使用cookie时提交数据报错：

这里需要加上cookie本地存储。

具体代码如下：

#!/usr/bin/env python3
__author__ = 'DSOWASP'
#encoding:UTF-8
import urllib
import urllib.parse
import http.cookiejar
import urllib.request
import prettytable
import collections

# urllib.request.urlopen(url) 返回 http.client.HTTPResponse 对象

# 设置一个cookie处理器，它负责从服务器下载cookie到本地，并且在发送请求时带上本地的cookie
cj = http.cookiejar.LWPCookieJar()
cookies_support = urllib.request.HTTPCookieProcessor(cj)
opener = urllib.request.build_opener(cookies_support,urllib.request.HTTPHandler)
urllib.request.install_opener(opener)

# get
#打开登录主页面（他的目的是从页面下载cookie，这样我们在再送post数据时就有cookie了，否则发送不成功）
# 获取网站内容
url = "http://crm.oldboyedu.com/crm/grade/single/"
h = urllib.request.urlopen(url)

# 获取csrfmiddlewaretoken
data = h.read().decode('UTF-8')
for i in data.split('\n'):
    # <form class="col-xs-12 col-sm-10 col-sm-offset-1" method="post" action="/crm/grade/single/"><input type='hidden' name='csrfmiddlewaretoken' value='QKNMJKS49GvbVBdBzADwFT2HuHxIUUcP' />
    if "csrfmiddlewaretoken" in i:
        i = i.strip().split('value')
        m = i[1].split('\'')
        token = m[1]

#构造header，一般header至少要包含一下两项。这两项是从抓到的包里分析得出的。
# header_dict={'User-Agent':\
#            'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko'}

# qq列表,为了隐私，这里已将qq号删除
qq_list = [
'xxxxx','yyyyy',...
]
# 学号列表
xuehao_list = [
 '1','2','3','4','5',
'6','7','8','9','10','11','13','14','15',
'16','17','18','19','20','21','22','23',
'24','25','26','27','28','29','30','31',
'32','33','34','35','36','37','38','39'
]

chengji_list = collections.OrderedDict()

#构造Post数据，他也是从抓大的包里分析得出的。

for qq in qq_list:
    post = {}
    post['search_str'] = qq
    post['csrfmiddlewaretoken'] = token
    # 成绩列表默认为空
    chengji_list[qq] = []
    #需要给Post数据编码
    post_data = urllib.parse.urlencode(post).encode(encoding="utf-8")
    # post
    # req = urllib.request.Request(url,data=post_data,headers=header_dict)
    req = urllib.request.Request(url,data=post_data)
    data2 = urllib.request.urlopen(req)
    # print(type(data2)) # <class 'http.client.HTTPResponse'>
    data = data2.read()
    data = data.decode('UTF-8')
    data = data.split('\n')
    # p_chegnji 如果遇到'<td>'则为True，下一行则就成绩。
    p_chengji = False
    for i in data:
        i = i.strip()
        if len(i) != 0:
            if p_chengji == True:
                chengji_list[qq].append(i)
                p_chengji = False
            # 获取成绩的的代码需要根据实际网页放回的源码而定。可以右键查看源代码来分析一种较好的方法获取到想要的值。
            if '<td>' == i:
                p_chengji = True
# 上课天数或网页上已展示的成绩列数
l = len(chengji_list[qq_list[0]])
# 打印模块头部
PrettyTlist = ['学号','QQ']
# 根据已展示的天数来扩充打印模块头部
for i in range(l):
    i = i + 1
    PrettyTlist.append('Day%d'%i)
# 添加打印模块头部'总分'
PrettyTlist.append('总分')
# 实例化打印头部
a = prettytable.PrettyTable(PrettyTlist)

# 总成绩列表，qq:总成绩
sumc_chengji_list = {}
for xueyuan,grade in chengji_list.items():
    if grade != []:
        sumc = 0
        for i in grade:
            if i == 'A+':
                sumc += 100
            elif i == 'A':
                sumc += 90
            elif i == 'B+':
                sumc += 85
            elif i == 'B':
                sumc += 80
            elif i == 'B-':
                sumc += 70
            elif i == 'C+':
                sumc += 60
            elif i == 'C':
                sumc += 50
            elif i == 'C-':
                sumc += 40
            else:
                sumc += 0
    else:
        # 如果查不到学员的成绩
        sumc = 0
        for i in range(l):
            chengji_list[xueyuan].append('N/A')
    chengji_list[xueyuan].append(sumc)
    sumc_chengji_list[xueyuan]=sumc
# [(qq,总成绩),()]
# sorted,把items()的值给lamdba,asd[0] 为qq号，asd[1]为总成绩，key表示排序的列，resverse 为True表示降序

# sorted(dic,value,reverse)
# dic为比较函数，value 为排序的对象（这里指键或键值），
# reverse：注明升序还是降序，True--降序，False--升序（默认）

sort_chengji_list = sorted(sumc_chengji_list.items(),key = lambda asd:asd[1],reverse = True)

# 生成打印列表
for xueyuan,grade in sort_chengji_list:
    add_row = [xuehao_list[qq_list.index(xueyuan)],xueyuan]
    for i in chengji_list[xueyuan]:
        add_row.append(i)
    a.add_row(add_row)
print(a)

输出结果：