2017-11-11 Sa Oct Spider

4:33 PM

Again.

Firstly test liburl:

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

reload(sys)

sys.setdefaultencoding("utf-8")

def openWithBrowser(filename):

    os.system('python -m webbrowser "{}"'.format(filename))

name = 'xxx'

no = 'xxx'

hosturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

posturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)

headers = {

    'User-Agent' : 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405',

    'Referer' : 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

}

idx = name + ' ' + no

postData = {

    '__VIEWSTATE' : '/wEPDwULLTE3NzI1OTE3OTFkZJk4xBOpTGvHILGFeCbFQfQQv9dbWzdoB6AOexN4BTx0',

    '__EVENTVALIDATION' : '/wEWBQLMmfO1BgL7uPQdAt765bwOAsaZ0ZUMApn3i+sBQi9nlVqoFrBfAjkxtVAWnUBZPnKm6VON7F01iBJzBXw=',

    'name' : name,

    'pwd' : '12345',

    'btnchange' : '登录',

    'xuehao' : no

}

postData = urllib.urlencode(postData)

request = urllib2.Request(posturl, postData, headers)

response = urllib2.urlopen(request, timeout=5)

with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as f:

    f.write(response.read())

    openWithBrowser(f.name)

Good. Nothing changed. Them apply the table.

5:09 PM

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

reload(sys)

sys.setdefaultencoding("utf-8")

def openWithBrowser(filename):

    os.system('python -m webbrowser "{}"'.format(filename))

version = datetime.datetime.now().strftime("%y-%m-%d %a %b %H-%M-%S result")

os.mkdir(version)

hosturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

posturl = 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

cj = cookielib.LWPCookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

h = urllib2.urlopen(hosturl)

headers = {

    'User-Agent' : 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405',

    'Referer' : 'http://android.gdgzez.com.cn/szxy/yanjiuxingxuexi/student_login.aspx'

}

def get(name, no):

    global hosturl, posturl, cj, cookie_support, opener, h, headers

    postData = {

        '__VIEWSTATE' : '/wEPDwULLTE3NzI1OTE3OTFkZJk4xBOpTGvHILGFeCbFQfQQv9dbWzdoB6AOexN4BTx0',

        '__EVENTVALIDATION' : '/wEWBQLMmfO1BgL7uPQdAt765bwOAsaZ0ZUMApn3i+sBQi9nlVqoFrBfAjkxtVAWnUBZPnKm6VON7F01iBJzBXw=',

        'name' : name,

        'pwd' : '12345',

        'btnchange' : '登录',

        'xuehao' : no

    }

    postData = urllib.urlencode(postData)

    request = urllib2.Request(posturl, postData, headers)

    response = urllib2.urlopen(request, timeout=5)

    with open('{}/{}.html'.format(version, no), 'w') as f:

        f.write(response.read().replace('<head>', '<head><meta charset="utf-8">'))

with open('result_utf8.csv', "rb") as f:

    print version

    for line in f:

        (name, no, x1, x2) = line.split(',')

        try:

            get(name, no)

        except:

            pass

It took some time to output to Chinese filename. Gave up eventually. It even raised exception when I printed name (Chinese) to the console (decode stuff).

Then I'd write a reporter.

6:41 PM

# -*- coding: utf-8 -*-

import json

import datetime

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import re

import sys

import threading

import os

import tempfile

from bs4 import BeautifulSoup

from prettytable import PrettyTable

import Tkinter

reload(sys)

sys.setdefaultencoding("utf-8")

csv = [line.split(',') for line in open('result_utf8.csv')]

def getname(no):

    for i in csv:

        if i[1] == no:

            return i[0]

    return ''

def getcourse(filename):

    s = open(filename).read()

    i = s.find('退选')

    if i != -1:

        trbegin = s.find('<tr>', i)

    # s[trbegin...] e.g.

    # <tr>

    #                                         <td width="10%">

    #                                     <a id="GridView1_ctl02_LinkButton1" href="ja

    # vascript:__doPostBack('GridView1$ctl02$LinkButton1','')">348</a>

    #

    #                                 </td><td>12</td><td>生物培优班</td><td>xxx</td><td>&n

    # bsp;</td><td width="10%">

    #                                     <a id="GridView1_ctl02_LinkButton2" href="ja

    # vascript:__doPostBack('GridView1$ctl02$LinkButton2','')">退选</a>

    #                                </td>

        trend = s.find('</tr>', trbegin)

        read = 0

        res = ''

        i = trbegin

        while i < trend:

            if s[i] == '<':

                while s[i] != '>':

                    i += 1

                i += 1

                continue

            end = False

            while s[i] != '<':

                if s[i] == '&':

                    end = True

                    break

                res += s[i]

                i += 1

            if end:

                break

            res += ' '

        res2 = ''

        i = 0

        while i < len(res) and not (res[i] in "0123456789"):

            i += 1

        while i < len(res):

            if res[i] == '\n':

                i += 1

            else:

                res2 += res[i]

                if res[i] == ' ':

                    while i < len(res) and res[i] == ' ':

                        i += 1

                else:

                    i += 1

        return res2

    return ''

def report():

    with tempfile.NamedTemporaryFile(suffix='.html', delete=False) as f:

        wd = workdir.get()

        os.chdir(wd)

        f.write('<head><meta charset="utf-8"></head>')

        f.write('<h1>Spider report</h1>')

        f.write('<p><b>Version {}</b></p>'.format(wd))

        f.write('<table>')

        for i in os.listdir('.'):

            (no, x1) = i.split('.')

            name = getname(no)

            s = getcourse(i)

            f.write('<tr><th>{}</th><th>{}</th><td>{}</td></tr>'.format(no, name, s))

        os.system('python -m webbrowser {}'.format(f.name))

        os.chdir('..')

gui = Tkinter.Tk()

workdir = Tkinter.StringVar()

Tkinter.Button(gui, text="Report", command=report).pack(side=Tkinter.LEFT)

Tkinter.Entry(gui, textvariable=workdir, width=40).pack(side=Tkinter.LEFT)

gui.mainloop()

2017-11-11 Sa Oct Spider的更多相关文章

  1. 2017年11月Dyn365/CRM用户社区活动报名

    UG是全球最大Dynamics的用户组织,由最终用户自发组织,由行业有经验的专家自愿贡献知识和经验的非营利机构,与会人员本着务实中立的态度,不进行推介产品,服务以及其他营销行为.在美国,微软Dynam ...

  2. WPS 表格筛选两列相同数据-完美-2017年11月1日更新

    应用: 1.选出A列中的数据是否在B列中出现过: 2.筛选出某一批序号在一个表格里面的位置(整批找出) 3.其实还有其他很多应用,难描述出来... ... A列中有几百的名字,本人想帅选出B列中的名字 ...

  3. 2017年11月GitHub上最热门的Java项目出炉

    2017年11月GitHub上最热门的Java项目出炉~ 一起来看看这些项目你使用过哪些呢? 1分布式 RPC 服务框架 dubbohttps://github.com/alibaba/dubbo S ...

  4. 2017.11.11 B201 练习题思路及解题方法

    2017.11.11 B201 练习题思路及解题方法 题目类型及涵盖知识点 本次总共有6道题目,都属于MISC分类的题目,涵盖的知识点有 信息隐藏 暴力破解 音轨,摩斯电码 gif修改,base64原 ...

  5. 【主席树维护mex】 【SG函数递推】 Problem H. Cups and Beans 2017.8.11

    Problem H. Cups and Beans 2017.8.11 原题: There are N cups numbered 0 through N − 1. For each i(1 ≤ i ...

  6. 2017-11-11 Sa Oct 消参

    2017-11-11 Sa Oct 消参 Prior versions: 2017-11-04 Sa Oct 消参 2017-11-10 Fr Oct 消参 2017-11-04 Sa $ P(-3, ...

  7. NOIp 11.11/12

    最后一场比较正式的NOIp模拟赛,写一发小总结.题目没什么好说的,大部分很简单,先贴一下代码. 1111 T1 //string //by Cydiater //2016.11.11 #include ...

  8. 11.11光棍节工作心得——github/MVP

    11.11光棍节工作心得 1.根据scrum meeting thirdday中前辈的指导进行学习 我在博客中贴了链接,竟然TrackBack引来了原博主,

  9. 下面程序的输出结果是____ A:11,10 B:11,11 C:10,10 D:10,11 int x=10; int y=x++; printf("%d,%d",(x++,y),y++);

    下面程序的输出结果是____ A:11,10 B:11,11 C:10,10 D:10,11 int x=10; int y=x++; printf("%d,%d",(x++,y) ...

随机推荐

  1. 【备份】如何在 PADS Layout 中选择 Gerber 274X 格式

    如何在 PADS Layout 中选择 Gerber 274X 格式. 起初原因是 JLC 说 274X 和 274D 的差别. 有小伙伴使用了 274D 的格式,结果做出来的 PCB 有问题.

  2. bootstrap顶部导航遮挡下面内容的解决办法

    使用bootstrap设置顶部导航,并将导航栏固定,代码如下: <nav class="navbar navbar-expand-lg navbar-light bg-light fi ...

  3. ActiveMQ (一) 简介

    1.ActiveMQ简介 先分析这么一个场景:当我们在网站上购物时,必须经过,下订单.发票创建.付款处理.订单履行.航运等.但是,当用户下单后,立即跳转到“感谢那您的订单” 页面.不仅如此,若果没有延 ...

  4. SolrJ的使用

    SolrJ的使用 1.添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns=& ...

  5. Xshell5 提示要继续使用此程序，您必须应用最新的更新或使用新版本

    Xshell5 提示要继续使用此程序,您必须应用最新的更新或使用新版本   目录 问题描述 修改系统时间 安装新版本 下载 安装 回到顶部 问题描述 今天上线一个服务,上完准备看下OPS的发布结果,就 ...

  6. (转)Windows 平台下解决httpd.exe: syntax error on line 39

    近来在研究PHP,结果为了Apache的安装伤神不已...小白我在安装后,启动Apache的服务虽然可以,不过,在Apache sevice monitor 中启动services时就会出现如下的问题 ...

  7. javaAgent介绍

    JavaAgent(转载) http://www.cnblogs.com/diyunpeng/archive/2011/05/26/2057932.html 一文带你了解Java Agent http ...

  8. MySQL-count(*)和count(1)的查询区别

    一般情况下,Select Count (*)和Select Count(1)两着返回结果是一样的 假如表沒有主键(Primary key), 那么count(1)比count(*)快, 如果有主键的話 ...

  9. ssh 端口转发实践

    A: 172.28.92.114 本地主机B: 172.28.92.117 中间主机C: 172.28.92.118 目的主机 (这里名字叫目的主机更合适,原先把这里叫成远程主机,导致我一直认为远程端 ...

  10. 使用原生JDBC循环读取文件并持久化到数据库

    先上代码: package com.demo.common.service; import java.io.File; import java.io.FileInputStream; import j ...