--------blogs:  陈月白    http://www.cnblogs.com/chenyuebai    -------- 一.概述 妹子工作时需要大量地查询火车车次至南京的信息,包括该车次到达站(南京站or南京南站).到达时间.出发时间等,然后根据这些信息做下一步工作. 版本结束,趁着间歇期,帮她弄了个简易的批量查询工具,粉色的按钮是给她用的~哈哈哈! (๑*◡*๑) 大概80行代码,主要是: 界面读取待查询车次 - - - - 调用车次信息接口- - - - 解析返回数据 -…

本文作者:i春秋作家——阿甫哥哥 系列文章专辑:https://bbs.ichunqiu.com/forum.php?mod=collection&action=view&ctid=96目录: 0×00 前言 0×01 火车余票查询 0×02 Selenium模块简单介绍 0×03 打造SupremeBOT 0×00 前言 本篇文章灌输的主要思想,就是抢.因为有些东西买的是量,就比如说一些联名鞋.很扎心,抢不到就得去"黄牛"那买,价格大概翻了很多很多,就比如一个AJ1联…

1.来自12306的火车车次数据 使用12306网站的接口,查询余票.此接口采集自 这里. 全国火车站代号字典,下载 . 火车票余票查询 http://dynamic.12306.cn/otsquery/query/queryRemanentTicketAction.do?method=queryLeftTicket&orderRequest.train_date=2013-10-08&orderRequest.from_station_telecode=BJP&orderRequ…

慢慢的把它们总结一下,总结就是最好的学习方法 宗述 首先来看一下他们的区别 urllib和urllib2 urllib 和urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL. 这意味着,你不可以伪装你的User Agent字符串等. urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有.这是为何urllib常和urllib2一起使用的原因. 目前的大部分h…

本文章为原创文章,转载请注明,欢迎评论和改正. 一,分析 之前所用的直接通过HTML中的元素值来爬取一些网页上的数据,但是一些比较敏感的数据,很多正规网站都是通过json数据存储,这些数据通过HTML元素是爬取不到的,所以只能通过json数据的api接口来爬取数据. 二,网站处理 1,打开去哪儿网的网站https://train.qunar.com/,找到火车票查询,输入起点终点和日期,查询. 2,右击打开审查元素,点击network 3,刷新网页,找到XHR,点击链接 4,找到s2sBeanL…

爬取的网站类型: 论坛类网站类型 涉及主要的第三方模块: BeautifulSoup:解析.遍历页面 urllib:处理URL请求 Flask:简易的WEB框架 介绍: 本次主要使用urllib获取网页数据,然后通过BeautifulSoup进行页面解析,返回json结构的数据. 功能点: urllib根据URL通过GET方式获取网页内容: 通过JSON文件配置 解析页面结构,返回JSON结构的数据 提供REST服务进行调用 特点: 1.提供数据描述服务,总页面,每页条数,总条数: 2.增量请求…

相关链接: Python导出Excel为Lua/Json/Xml实例教程(一):初识Python Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验 Python导出Excel为Lua/Json/Xml实例教程(三):终极需求 一.终极需求 前文的实例都是比较基础的例子,现在来一个贴近真实项目的实例. 下图是要操作的表格: 需求列表: Excel中导出的数据要有类型区分,比如int,string等 第一行为列的中文名称,这个名称只是给策划看,不导出 每张表右侧可以…

Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验 相关链接: Python导出Excel为Lua/Json/Xml实例教程(一):初识Python Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验 Python导出Excel为Lua/Json/Xml实例教程(三):终极需求 一.什么是xlrd xlrd是python语言中读取excel的扩展工具,可以实现指定表单.指定单元格的读取. 二.安装xlrd 官网安装:到python官…

Python导出Excel为Lua/Json/Xml实例教程(一):初识Python 相关链接: Python导出Excel为Lua/Json/Xml实例教程(一):初识Python Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验 Python导出Excel为Lua/Json/Xml实例教程(三):终极需求 一.Why 无论做什么事,一定有个理由,所以第一步,我来简述一下Why,为什么会有这个需求. 做过游戏的朋友应该知道,游戏当中很多的数据都是通过策划配置在…

urllib模块提供了一些高级接口,用于编写需要与HTTP服务器交互的客户端.典型的应用程序包括从网页抓取数据.自动化.代理.网页爬虫等. 在Python 2中,urllib功能分散在几个不同的库模块中,包括urllib.urllib2.urlparse等.在Python 3中,所有功能都合并在urllib包中. 1. urlopen(url[, data[, timeout]])  要抓取html网页,很简单 import urllib2 response=urllib2.urlopen('h…