前段时间,一朋友让我做个小脚本,抓一下某C2C商城上竞争对手的销售/价格数据,好让他可以实时调整自己的营销策略.自己之前也有过写爬虫抓某宝数据的经历,实现的问题不大,于是就答应了.初步想法是利用pyhton中的urllib.request和re两个lib(本文示例用的是Pyhton 3.4 ,2.x的请自行切换),外加上其他的统计分析功能的话,最多两个晚上(白天要工作)可以搞定.实际上做的过程中,遇到了两个主要困难: (1)电商网站对于交易数据的保护很好.小爬虫动不动就会被ban掉或者采用一些其…

分类路径:/Datazen/DataMining/Crawler/   前段时间,一朋友让我做个小脚本,抓一下某C2C商城上竞争对手的销售/价格数据,好让他可以实时调整自己的营销策略.自己之前也有过写爬虫抓某宝数据的经历,实现的问题不大,于是就答应了.初步想法是利用pyhton中的urllib.request和re两个lib(本文示例用的是Pyhton 3.4 ,2.x的请自行切换),外加上其他的统计分析功能的话,最多两个晚上(白天要工作)可以搞定.实际上做的过程中,遇到了两个主要困难: (1)…

一.xpath库使用: 1.基本规则: 2.将文件转为HTML对象: html = etree.parse('./test.html', etree.HTMLParser()) result = etree.tostring(html) print(result.decode('utf-8')) 3.属性多值匹配: //a[contains(@class,'li')] 4.多属性匹配: //a[@class="a" and @font="red"] 5.按序选择:…

matplotlib 是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地进行制图.而且也可以方便地将它作为绘图控件,嵌入GUI应用程序中. 它的文档相当完备,并且 Gallery页面 中有上百幅缩略图,打开之后都有源程序.因此如果你需要绘制某种类型的图,只需要在这个页面中浏览/复制/粘贴一下,基本上都能搞定. 本章节作为matplotlib的入门介绍,将较为深入地挖掘几个例子,从中理解和学习matplotlib绘图的一些基本概念. 先来看一个简单的例子:…

1.    Requests库安装 Windows平台安装说明: 直接以管理员身份打开cmd运行界面,使用pip管理工具进行requests库的安装. 具体安装命令如下: >pip install pip 2.    Requests库安装验证 Requests库安装完成后,验证安装是否成功.直接在python IDLE GUI环境下导入requests库,并简单使用requests.get(url)测试. 测试命令如下: >>>import requests >>&g…

1. 安装和文档 pip install matplotlib 官方文档 为了方便显示图像,还使用了ipython qtconsole方便显示.具体怎么弄网上搜一下就很多教程了. pyplot模块是提供操作matplotlib库的经典Python接口. # 导入pyplot import matplotlib.pyplot as plt 2. 初探pyplot plot()的参数表 matplotlib.pyplot.plot(*args, **kwargs) The following for…

python多线程及多进程对于不同平台有不同的工具(platform-specific tools),如os.fork仅在Unix上可用,而windows不可用,该文仅针对windows平台可用的工具进行总结. 1.多线程 单线程中,如果某一任务(代码块)是long-time running的,则必须等待该任务(代码块)结束,才可以对下一个任务进行操作,为解决long-time 任务的block问题,可将创建多个线程,间隔选择多线程进行操作.python 中多线程常用的库为_thread,thr…

1. I/O API工具 读取函数 写入函数 read_csv to_csv read_excel to_excel read_hdf to_hdf read_sql to_sql read_json to_json read_html to_html read_stata to_stata read_clipboard to_clipboard read_pickle to_pickle read_msgpack to_mspack read_gbq to_gbq 2. 读写CSV文件 文件的…

官方文档 1. 安装Pandas windos下cmd:pip install pandas 导入pandas包:import pandas as pd 2. Series对象 带索引的一维数组 创建: s = pd.Series([12,-4,7,9]) print (s) 0 12 1 -4 2 7 3 9 dtype: int64 s = pd.Series([12,-4,7,9], index = ['a', 'b', 'c', 'd']) print (s) a 12 b -4 c 7…

导入: import pandas as pd from pandas import Series,DataFrame 1.两个主要数据结构:Series和DataFrame (1)Series是一种类似于一维数组的对象,由数据和标签组成:标签未传入则默认标签为0到N-1. obj=Series([4,7,-5,3]) Out0 4 1 7 2 -5 3 3 obj.values=array([4,7,-5,3]);obj.index=Int64Index([0,1,2,3]) obj2=Ser…