【原创】用Python爬取LeetCode的AC代码到Github

【【原创】用Python爬取LeetCode的AC代码到Github】的更多相关文章

【原创】用Python爬取LeetCode的AC代码到Github

在leetCode写了105道题高调膜科,考虑搬迁到自己的GitHub上,做成一个解题题库,面试的时候也可以秀一个但是!但是! leetCode在线IDE的功能不要太舒服,我直接线上A了不少题,本地没有代码,除非有题调试半天A不来,本地才有存代码于是我就考虑,直接用Python把leetCode上的AC代码爬下来,然后扔到本地github文件夹里,然后一个同步大法大概涉及的知识: 0.cookie 1.网站的结构分析 2.脚本登陆 3.脚本爬站 ----------------------…

python爬取网页的通用代码框架

python爬取网页的通用代码框架: def getHTMLText(url):#参数code缺省值为‘utf-8’(编码方式) try: r=requests.get(url,timeout=30) r.raise_for_status() #如果状态不是200,也就是返回的内容不是正常的数据,引发HTTPError异常 r.encoding=r.apparent_encoding return r.text #返回网页的内容 except: return '产生异常' #如果网页有问题,则触…

python爬虫学习(7) —— 爬取你的AC代码

上一篇文章中,我们介绍了python爬虫利器--requests,并且拿HDU做了小测试. 这篇文章,我们来爬取一下自己AC的代码. 1 确定ac代码对应的页面如下图所示,我们一般情况可以通过该顺序找到我们曾经AC过的代码登陆hdu -> 点击自己的信息 -> 点击Last accepted submissions -> 在Code Len 处选择一个代码 -> 看到你AC的代码我们可以看到,所有AC代码的页面都是 http://acm.hdu.edu.cn/viewcode…

python爬取豆瓣视频信息代码

目录一:代码二:结果如下(部分例子) 这里是爬取豆瓣视频信息,用pyquery库(jquery的python库). 一:代码 from urllib.request import quote from pyquery import PyQuery as pq import requests import pandas as pd def get_text_page(movie_name): ''' 函数功能:获得指定电影名的源代码参数:电影名返回值:电影名结果的源代码 ''' url…

python爬取许多图片的代码

from bs4 import BeautifulSoup import requests import os os.makedirs('./img/', exist_ok=True) URL = "http://www.nationalgeographic.com.cn/animals/" html = requests.get(URL).text soup = BeautifulSoup(html, 'lxml') img_ul = soup.find_all('ul', {&qu…

Python 爬取所有51VOA网站的Learn a words文本及mp3音频

Python 爬取所有51VOA网站的Learn a words文本及mp3音频 #!/usr/bin/env python # -*- coding: utf-8 -*- #Python 爬取所有51VOA网站的Learn a words文本及mp3音频 import os import sys import time import urllib as req from threading import Thread import urllib2 import urllib from thre…