自己在看python处理数据的方法,发现一篇介绍比较详细的文章 转自:http://blog.csdn.net/lingojames/article/details/72835972 20170531 这几天重新拾起了爬虫,算起来有将近5个月不碰python爬虫了. 对照着网上的程序和自己以前写的抓图的程序进行了重写,发现了很多问题.总结和归纳和提高学习效果的有效手段,因此对于这些问题做个归纳和总结,一方面总结学习成果,使之成为自己的东西,另一方面希望能够给其他初学爬虫的人一些启发. 爬虫程序核…

python之OS模块详解 ^_^,步入第二个模块世界----->OS 常见函数列表 os.sep:取代操作系统特定的路径分隔符 os.name:指示你正在使用的工作平台.比如对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'. os.getcwd:得到当前工作目录,即当前python脚本工作的目录路径. os.getenv()和os.putenv:分别用来读取和设置环境变量 os.listdir():返回指定目录下的所有文件和目录名 os.remove(fil…

python之sys模块详解 sys模块功能多,我们这里介绍一些比较实用的功能,相信你会喜欢的,和我一起走进python的模块吧! sys模块的常见函数列表 sys.argv: 实现从程序外部向程序传递参数. sys.exit([arg]): 程序中间的退出,arg=0为正常退出. sys.getdefaultencoding(): 获取系统当前编码,一般默认为ascii. sys.setdefaultencoding(): 设置系统默认编码,执行dir(sys)时不会看到这个方法,在解释器中执…

python中threading模块详解(一) 来源 http://blog.chinaunix.net/uid-27571599-id-3484048.html threading提供了一个比thread模块更高层的API来提供线程的并发性.这些线程并发运行并共享内存. 下面来看threading模块的具体用法: 一.Thread的使用 目标函数可以实例化一个Thread对象,每个Thread对象代表着一个线程,可以通过start()方法,开始运行. 这里对使用多线程并发,和不适用多线程并发做…

Python数据类型及其方法详解 我们在学习编程语言的时候,都会遇到数据类型,这种看着很基础也不显眼的东西,却是很重要,本文介绍了python的数据类型,并就每种数据类型的方法作出了详细的描述,可供知识回顾. 一.整型和长整型 整型:数据是不包含小数部分的数值型数据,比如我们所说的1.2.3.4.122,其type为"int" 长整型:也是一种数字型数据,但是一般数字很大,其type为"long" 在python2中区分整型和长整型,在32位的机器上,取值范围是-2…

python引用和对象详解 @[马克飞象] python中变量名和对象是分离的 例子 1: a = 1 这是一个简单的赋值语句,整数 1 为一个对象,a 是一个引用,利用赋值语句,引用a指向了对象1. 例子 2: >>> a = 1 >>> id(a) 24834392 >>> a = 'banana' >>> id(a) 139990659655312 第一个语句中, 2是储存在内存中的一个整数对象,通过赋值 引用a 指向了 对象…

Python中time模块详解 在平常的代码中,我们常常需要与时间打交道.在Python中,与时间处理有关的模块就包括:time,datetime以及calendar.这篇文章,主要讲解time模块. 在开始之前,首先要说明这几点: 在Python中,通常有这几种方式来表示时间:1)时间戳 2)格式化的时间字符串 3)元组(struct_time)共九个元素.由于Python的time模块实现主要调用C库,所以各个平台可能有所不同. UTC(Coordinated Universal Time,…

Python 列表(List)操作方法详解 这篇文章主要介绍了Python中列表(List)的详解操作方法,包含创建.访问.更新.删除.其它操作等,需要的朋友可以参考下   列表是Python中最基本的数据结构,列表是最常用的Python数据类型,列表的数据项不需要具有相同的类型.列表中的每个元素都分配一个数字 - 它的位置,或索引,第一个索引是0,第二个索引是1,依此类推.Python有6个序列的内置类型,但最常见的是列表和元组.序列都可以进行的操作包括索引,切片,加,乘,检查成员.此外,Py…

Python模块调用方式详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 模块,用一砣代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合.而对于一个复杂的功能来,可能需要多个函数才能完成(函数又可以在不同的.py文件中),n个 .py 文件组成的代码集合就称为模块.接下来就让我们一起学习一下Python中模块调用方式吧. 一.什么是模块 在计算机程序的开发过程中,随着程序代码, 在…

# -*- coding: utf-8 -*- #python 27 #xiaodeng #python之模块datetime详解 import datetime #data=datetime.date(2015,11,9)#表示日期的类 #data=datetime.time(hour[,minute[,second[,microsecond[,tzinfo]]]])#表示时间的类,从小时时间开始为参数 #data=datetime.datetime(year,month,day[,hour[…

  Python对Excel操作详解 文档摘要: 本文档主要介绍如何通过python对office excel进行读写操作,使用了xlrd.xlwt和xlutils模块.另外还演示了如何通过Tcl  tcom包对excel操作. 关键字: Python.Excel.xlrd.xlwt.xlutils.TCl.tcom     1 Python简介 Python是一种面向对象.直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定.它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务.…

      Python的logging模块详解 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.日志级别 日志级别指的是产生的日志的事件的严重程度. 设置一个级别后,严重程度低于设置值的日志消息将被忽略. 常见的日志级别及其对应的数值如下所示: CRITICAL: 对应数值为50,使用critical()方法调用. ERROR: 对应数值为40,使用error()方法调用 WARNING: 对应数值为30,使用warning()方法调用,该级别为默认级别. INFO:…

Python初学者常见错误详解 0.忘记写冒号 在 if.elif.else.for.while.class.def 语句后面忘记添加 “:”   if spam == 42 print('Hello!') 导致:SyntaxError: invalid syntax 1.误用 “=” 做等值比较 “=” 是赋值操作,而判断两个值是否相等是 “==”   if spam = 42: print('Hello!') 导致:SyntaxError: invalid syntax 2.使用错误的缩进…

python操作redis用法详解 转载地址 1.redis连接 redis提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py. redis连接实例是线程安全的,可以直接将redis连接实例设置为一个全局变量,直接使用.如果需要另一个Redis实例(or Redis数据库)时,就需要重新创建redis连接实例来获取一个新的连接.…

Python变量和字符串详解 几个月前,我开始学习个人形象管理,从发型.妆容.服饰到仪表仪态,都开始做全新改造,在塑造个人风格时,最基础的是先了解自己属于哪种风格,然后找到参考对象去模仿,可以是自己欣赏的人.明星或模特等,直至最后去创新,形成自己独特的个人风格. 学习Python也是一样.开始学习一门新的语言,最便捷的方法是去模仿,继而在模仿中出创新.在初期模仿的过程中,务必要做到亲自敲下每一行代码,打出每一个标点符号,而不是简单的一目十行,不实际操作,这样即使看完整本书,或许依然写不出程序.…

Requests是一个Python语言写的http相关设置或者请求的一个库 安装:pip install Requests或者pip3 install requests 使用的时候要import requests http://httpbin.org/:这个链接可以用来检查你请求的链接返回的内容,输出的是你请求的基本内容,可以用来测试验证 get请求 1.基本get请求的写法: import requests response = requests.get("http://httpbin.org…

Python基础之函数详解 目录 Python基础之函数详解 一.函数的定义 二.函数的调用 三.函数返回值 四.函数的参数 4.1 位置参数 4.2 关键字参数 实参:位置实参和关键字参数的混合使用 形参:位置形参和默认参数的混合使用 4.3 可变长度参数 4.3.1 可变长度形参 4.3.2 星号在实参上的应用 4.3.3 星号的综合应用 4.4 命名关键字参数 4.5形参和实参的顺序 五.函数闭包函数 5.1 函数的应用. 5.2 函数的嵌套 5.3 闭包函数 六.装饰器 6.1 无参装饰…

Python的深浅copy详解 目录 Python的深浅copy详解 一.浅copy的原理 1.1 浅copy的定义 1.2 浅copy的方法 二.深copy的原理 2.1 深copy的定义 2.2 深copy的方法 三.深.浅copy的区别 想要看明白原理,首先要清楚变量数据类型的可变不可变类型. Python的数据类型可变不可变 当我们对列表进行复制一份给新的变量名的时候,一共有两种方式来进行分,分别是浅copy.深copy.那么两者有什么区别呢?都该什么时候使用呢?让我来为你揭晓吧. 一.…

第7.19节 Python中的抽象类详解:abstractmethod.abc与真实子类 一.    引言 前面相关的章节已经介绍过,Python中定义某种类型是以实现了该类型对应的协议为标准的,而不是以继承关系为标准,在各种调用中,不会显式地指定对象必须包含哪些方法才能用作参数,而是假设所有对象都能完成其工作,在执行时去调用特定协议的方法来执行,因此Python并不推荐在代码中去进行类型检查和属性检查.但为了提供一种可以要求实现对象遵循对应协议.提供所有特定功能集的方法,Python提供了抽象…

python matplotlib.pyplot散点图详解(1) 一.创建散点图 可以用scatter函数创建散点图 并使用show函数显示散点图 代码如下: import matplotlib.pyplot as plt #导入模块 x = [5, 7, 8, 10, 6] y = [3, 7, 13, 8, 10] plt.scatter(x, y) #创建散点图 plt.show() #显示散点图 运行如下: 如图显示,散点图按照坐标显示了五个点 二.散点图样式 可以通过color,s,m…

python matplotlib.pyplot 条形图详解 一.创建直方图 可以用bar函数来创建直方图 然后用show函数显示直方图 比如: import matplotlib.pyplot as plt x = [1, 4, 6, 8, 10] y = [3, 5, 4, 7, 5] plt.bar(x, y) plt.show() 运行如下:…

python matplotlib.pyplot 散点图详解(2) 上期资料 一.散点图叠加 可以用多个scatter函数叠加散点图 代码如下: import matplotlib.pyplot as plt x = [5,7,8,10,6] y = [3,7,13,8,10] n = [4,6,9,9,7] m = [5,6,3,8,10] plt.scatter(x, y) plt.scatter(n, m) #系统默认为蓝色和橙色 plt.show() 运行如下: 想更改样式请看上一期:上…

1.简介 XPath是一门在XML和HTML文档中查找信息的语言,可以用来在XML和HTML文档中对元素和属性进行遍历 XPath的安装 Chrome插件XPath Helper 点Chrome浏览器右上角:更多工具-----扩展程序-----谷歌商店--------勾选XPath Helper(需要FQ) 2.语法详解 #1.选取节点 ''' / 如果是在最前面,代表从根节点选取,否则选择某节点下的某个节点.只查询子一辈的节点 /html 查询到一个结果 /div 查询到0个结果,因为根节点以…

xpath定位在业界被戏称为元素定位的"屠龙宝刀",宝刀在手,武林我有.现在我们就来详解xpath定位方法. 一.xpath通过元素属性定位 xpath可以通过元素的属性来定位,如id,name,class,type等属性,元素的任意属性值都可以通过xpath来定位,只要这个属性值能唯一的标识一个元素 我们还以百度首页的搜索框为例,用xpath通过不同属性来定位它. 代码: # coding = utf-8 from time import sleep from selenium im…

dom4j api 详解 http://871421448.iteye.com/blog/1546955 XPath 节点 http://www.w3school.com.cn/xpath/xpath_nodes.asp dom4j下载 http://sourceforge.net/projects/dom4j/…

置顶   内置函数详解 https://docs.python.org/3/library/functions.html?highlight=built#ascii https://docs.python.org/2/library/functions.html 此文参考了别人整理好的东西(地址:http://www.cnblogs.com/sesshoumaru/p/6140987.html#p1),然后结合自己的理解,写下来,一方面方便自己,让自己好好学习,顺便回忆回忆:另一方面,让喜欢的盆…

log模块的讲解 Python 使用logging模块记录日志涉及四个主要类,使用官方文档中的概括最为合适: logger提供了应用程序可以直接使用的接口API: handler将(logger创建的)日志记录发送到合适的目的输出: formatter决定日志记录的最终输出格式 filter提供了细度设备来决定输出哪条日志记录: logger 每个程序在输出信息之前都要获得一个Logger.Logger通常对应了程序的模块名, 比如聊天工具的图形界面模块可以这样获得它的Logger:LOG=lo…

1. 字符串内置方法详解 为何要有字符串?相对于元组.列表等,对于唯一类型的定义,字符串具有最简单的形式. 字符串往往以变量接收,变量名. 可以查看所有的字符串的内置方法,如: 1> count:统计字符个数. a = 'hello,world' res = a.count('l') #统计字符串hello,world里面l的个数 print(res) result: E:\Learning\python_vir\yunwei\Scripts\python.exe E:/Learning/pyt…

进程,线程,协程https://blog.csdn.net/qq_23926575/article/details/76375337 多进程 https://www.cnblogs.com/lipijin/p/3709903.html [Python3之多进程]   一.进程和线程的简单解释 进程(process)和线程(thread)是操作系统的基本概念,但是它们比较抽象,不容易掌握. 用生活举例: (转自阮一峰网络日志) 1.计算机的核心是CPU,它承担了所有的计算任务.它就像一座工厂,时刻…

Deque模块是Python标准库collections中的一项. 它提供了两端都可以操作的序列, 这意味着, 你可以在序列前后都执行添加或删除. https://blog.csdn.net/qq_33374294/article/details/89339688 python中yield的用法详解 yield https://blog.csdn.net/mieleizhi0522/article/details/82142856    …