python爬虫学习(7) —— 爬取你的AC代码
上一篇文章中,我们介绍了python爬虫利器——requests,并且拿HDU做了小测试。
这篇文章,我们来爬取一下自己AC的代码。
1 确定ac代码对应的页面
如下图所示,我们一般情况可以通过该顺序找到我们曾经AC过的代码
登陆hdu -> 点击自己的信息 -> 点击Last accepted submissions -> 在Code Len 处选择一个代码 -> 看到你AC的代码
我们可以看到,所有AC代码的页面都是
http://acm.hdu.edu.cn/viewcode.php?rid=
+ RunID
而这个RunID
,正好在表格的最前面:
很自然我们可以想到,用正则表达式进行匹配。
2. 处理换页问题
很显然,,如果你AC的代码多了,必然会存在换页问题
不过我们可以在源代码中找到换页对应的URL,我们直接跳转,直到找不到为止。
3. 代码处理问题
html中有一些转义字符,使得我们不能直接将代码保存下来。
这时候我们需要用到 HTMLParser
code = html_parser.unescape(down_code)
4. 具体实现
#coding=utf-8
import re, HTMLParser, requests, getpass, os
# 初始化会话对象 以及 cookies
s = requests.session()
cookies = dict(cookies_are='working')
# 一些基础的url
host_url = 'http://acm.hdu.edu.cn'
post_url = 'http://acm.hdu.edu.cn/userloginex.php?action=login'
status_url = 'http://acm.hdu.edu.cn/status.php?user='
codebase_url = 'http://acm.hdu.edu.cn/viewcode.php?rid='
# 正则表达式的匹配串
runid_pat = re.compile(r'<tr.*?align=center ><td height=22px>(.*?)</td>.*?</tr>',re.S)
code_pat = re.compile(r'<textarea id=usercode style="display:none;text-align:left;">(.+?)</textarea>',re.S)
lan_pat = re.compile(r'Language : (.*?)  ',re.S)
problem_pat = re.compile(r'Problem : <a href=.*?target=_blank>(.*?) .*?</a>',re.S)
nextpage_pat = re.compile(r'Prev Page</a><a style="margin-right:20px" href="(.*?)">Next Page ></a>',re.S)
# 代码保存目录
if not os.path.exists('./ac_code'):
os.mkdir(r'./ac_code')
base_path = r'./ac_code/'
# 登陆
def login(usr,psw):
data = {'username':usr,'userpass':psw,'login':'Sign In'}
r = s.post(post_url,data=data,cookies=cookies)
# 代码语言判断
def lan_judge(language):
if language == 'G++':
suffix = '.cpp'
elif language == 'GCC':
suffix = '.c'
elif language == 'C++':
suffix = '.cpp'
elif language == 'C':
suffix = '.c'
elif language == 'Pascal':
suffix = '.pas'
elif language == 'Java':
suffix = '.java'
else:
suffix = '.cpp'
return suffix
if __name__ == '__main__':
usr = raw_input('input your username:')
psw = getpass.getpass('input your password:')
login(usr,psw)
# 用于处理html中的转义字符
html_parser = HTMLParser.HTMLParser()
# 遍历每一页,并下载其代码
status_url = status_url + usr + '&status=5'
status_html = s.get(status_url,cookies=cookies).text
flag = True
print "Just go!"
while( flag ):
runid_list = runid_pat.findall(status_html)
for id in runid_list:
code_url = codebase_url + id
down_html = s.get(code_url,cookies=cookies).text
down_code = code_pat.search(down_html).group(1)
language = lan_pat.search(down_html).group(1)
problemid = problem_pat.search(down_html).group(1)
suffix = lan_judge(language)
code = html_parser.unescape(down_code).encode('utf-8')
code = code.replace('\r\n','\n')
open( base_path + 'hdu' + problemid + '__' + id + suffix,"wb").write(code)
nexturl = nextpage_pat.search(status_html)
if nexturl == None:
flag = False
else:
status_url = host_url + nexturl.group(1)
status_html = s.get(status_url,cookies=cookies).text
print "all of your ac codes were saved!"
5. 效果截图
- ubuntu下测试:
- windows下测试:
6. 写在后面
额。。很久很久很久没有刷题了。。。233333333,其实我是想告诉你一个事实
这里就可以下载AC的代码,,,哈哈哈。so,这个爬虫仅仅用来练习就好。
python爬虫学习(7) —— 爬取你的AC代码的更多相关文章
- Python爬虫学习(二) ——————爬取前程无忧招聘信息并写入excel
作为一名Pythoner,相信大家对Python的就业前景或多或少会有一些关注.索性我们就写一个爬虫去获取一些我们需要的信息,今天我们要爬取的是前程无忧!说干就干!进入到前程无忧的官网,输入关键字&q ...
- python爬虫学习之爬取全国各省市县级城市邮政编码
实例需求:运用python语言在http://www.ip138.com/post/网站爬取全国各个省市县级城市的邮政编码,并且保存在excel文件中 实例环境:python3.7 requests库 ...
- 【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神
原文:教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http:/ ...
- Python爬虫实例:爬取B站《工作细胞》短评——异步加载信息的爬取
很多网页的信息都是通过异步加载的,本文就举例讨论下此类网页的抓取. <工作细胞>最近比较火,bilibili 上目前的短评已经有17000多条. 先看分析下页面 右边 li 标签中的就是短 ...
- Python爬虫实例:爬取猫眼电影——破解字体反爬
字体反爬 字体反爬也就是自定义字体反爬,通过调用自定义的字体文件来渲染网页中的文字,而网页中的文字不再是文字,而是相应的字体编码,通过复制或者简单的采集是无法采集到编码后的文字内容的. 现在貌似不少网 ...
- Python爬虫实例:爬取豆瓣Top250
入门第一个爬虫一般都是爬这个,实在是太简单.用了 requests 和 bs4 库. 1.检查网页元素,提取所需要的信息并保存.这个用 bs4 就可以,前面的文章中已经有详细的用法阐述. 2.找到下一 ...
- python爬虫-基础入门-爬取整个网站《3》
python爬虫-基础入门-爬取整个网站<3> 描述: 前两章粗略的讲述了python2.python3爬取整个网站,这章节简单的记录一下python2.python3的区别 python ...
- python爬虫-基础入门-爬取整个网站《2》
python爬虫-基础入门-爬取整个网站<2> 描述: 开场白已在<python爬虫-基础入门-爬取整个网站<1>>中描述过了,这里不在描述,只附上 python3 ...
- python爬虫-基础入门-爬取整个网站《1》
python爬虫-基础入门-爬取整个网站<1> 描述: 使用环境:python2.7.15 ,开发工具:pycharm,现爬取一个网站页面(http://www.baidu.com)所有数 ...
随机推荐
- TCP三次握手的正确使用姿势
背景 和女朋友异地恋一年多,为了保持感情我提议每天晚上视频聊天一次. 从好上开始,到现在,一年多也算坚持下来了. 问题 有时候聊天的过程中,我的网络或者她的网络可能会不好,视频就会卡住,听不到对方的声 ...
- 深入netty源码解析之一数据结构
Netty是一个异步事件驱动的网络应用框架,它适用于高性能协议的服务端和客户端的快速开发和维护.其架构如下所示: 其核心分为三部分, 最低层为支持零拷贝功能的自定义Byte buffer: 中间层为通 ...
- 用js触发CSS3-transition过渡动画
用js触发CSS3-transition过渡动画 经过这几天的工作,让我进一步的了解到CSS3的强大,原本许多需要js才能实现的动画效果,现在通过CSS3就能轻易实现了,但是CSS3也有自身的不足,例 ...
- 黄聪:如何给wordpress的编辑器添加一个自定义按钮,并且实现插入功能
1.添加按钮 在 functions.php 文件里面添加下面代码: add_action('media_buttons', 'add_my_media_button'); function ad ...
- 把PDF的底色改成护眼色,这样读起文章来就不是很累了······
PDF格式背景改变方法如下: 打开PDF 点击 编辑 ->首选项->辅助工具->选中"替换文档颜色"和" 自定义颜色"->将背景颜色改成 ...
- Android 5.0源码编译问题
如果是自己通过repo和git直接从google官网上download的源码,请忽略这个问题,但是由于google在国内被限制登录,通过这一种方法不是每个人都能download下来源码,通常的做法就是 ...
- python之最强王者(10)———文件(File)、输入输出的基本操作
1. Python 文件I/O 本章只讲述所有基本的的I/O函数,更多函数请参考Python标准文档. 2.打印到屏幕 最简单的输出方法是用print语句,你可以给它传递零个或多个用逗号隔开的表达式. ...
- 深入理解js的变量提升和函数提升
一.变量提升 在ES6之前,JavaScript没有块级作用域(一对花括号{}即为一个块级作用域),只有全局作用域和函数作用域.变量提升即将变量声明提升到它所在作用域的最开始的部分.上个简历的例子如: ...
- 使用python处理子域名爆破工具subdomainsbrute结果txt
近期学习了一段时间python,结合自己的安全从业经验,越来越感觉到安全测试是一个体力活.如果没有良好的coding能力去自动化的话,无疑会把安全测试效率变得很低. 作为安全测试而言,第一步往往要通过 ...
- Atitit 《控制论原理与概论attilax总结
Atitit <控制论原理与概论attilax总结 <控制论> 奠基之作,出自创始人维纳.虽然内容权威,但我认为带有相当强烈的个人色彩,且门槛较高,不适合入门.深入研究控制论必看书籍 ...