一个简单的tokenizer 分词(tokenization)任务是Python字符串处理中最为常见任务了.我们这里讲解用正则表达式构建简单的表达式分词器(tokenizer),它能够将表达式字符串从左到右解析为标记(tokens)流. 给定如下的表达式字符串: text = 'foo = 12 + 5 * 6' 我们想要将其转换为下列以序列对呈现的分词结果: tokens = [('NAME', 'foo'), ('EQ', '='), ('NUM', '12'), ('PLUS', '+')…

1. 算术运算表达式求值 在上一篇博文<Python技法:用re模块实现简易tokenizer>中,我们介绍了用正则表达式来匹配对应的模式,以实现简单的分词器.然而,正则表达式不是万能的,它本质上是一种有限状态机(finite state machine,FSM), 无法处理含有递归语法的文本,比如算术运算表达式. 要解析这类文本,需要另外一种特定的语法规则.我们这里介绍可以表示上下文无关文法(context free grammer)的语法规则巴科斯范式(BNF)和扩展巴科斯范式(EBNF)…

本章内容: 模块介绍 time & datetime random os sys json & picle hashlib XML requests ConfigParser logging shutil subprocess argparse 模块介绍 Python Module(模块),就是一个保存了Python代码的文件.模块能定义函数,类和变量.模块里也能包含可执行的代码. 文件名就是模块名加上后缀.py,在模块内部,模块名存储在全局变量__name__中,是一个string,可以…

#!/usr/bin/python # Filename: cat.py import sys def readfile(filename): '''Print a file to the standard output.''' f = file(filename) while True: line = f.readline() if len(line) == 0: break print line, # notice comma f.close() # Script starts from h…

windows下安装python第三方包.模块汇总如下(部分方式同样适用于其他平台): 1. windows下最常见的*.exe,*msi文件,直接运行安装即可: 2. 安装easy_install,可以去官网下载:http://peak.telecommunity.com/dist/ez_setup.py,使用python 执行ez_setup.py文件,如:python ez_setup.py,此后会下载安装相应版本的easy_install.exe至python安装目录下的Scripts目…

1.os模块   os模块包装了不同操作系统的通用接口,使用户在不同操作系统下,可以使用相同的函数接口,返回相同结构的结果.   os.name:返回当前操作系统名称('posix', 'nt', 'os2', 'mac', 'ce' or 'riscos')   os中定义了一组文件.路径在不同操作系统中的表现形式参数,如     os.sep(文件夹分隔符,windows中是 \ )     os.extsep(扩展名分隔符,windows中是 . )     os.pathsep(目录分隔…

Python中的random模块用于生成随机数.下面介绍一下random模块中最常用的几个函数. random.random random.random()用于生成一个0到1的随机符点数: 0 <= n < 1.0 random.uniform random.uniform的函数原型为:random.uniform(a, b),用于生成一个指定范围内的随机符点数,两个参数其中一个是上限,一个是下限.如果a > b,则生成的随机数n: a <= n <= b.如果 a <…

递归 反射 os模块 sys模块 hashlib加密模块 正则表达式 反射 python中的反射功能是由以下四个内置函数提供:hasattr.getattr.setattr.delattr,改四个函数分别用于对对象内部执行:检查是否含有某成员.获取成员.设置成员.删除成员. class Foo(object): def __init__(self): self.name = 'wupeiqi' def func(self): return 'func' obj = Foo() # #### 检查…

Python 模块 为了实现对程序特定功能的调用和存储,人们将代码封装起来,可以供其他程序调用,可以称之为模块. 如:os 是系统相关的模块:file是文件操作相关的模块:sys是访问python解释器的变量和函数的方法的模块等... 模块分为三种: 自定义模块 内置模块 第三方模块 Python应用越来越广泛,在一定程度上也依赖于其为程序员提供了大量的模块以供使用,如果想要使用模块,则需要导入. python有三种导入模块的方法: import modname //import 语句 from…

1 time和datetime模块 #_*_coding:utf-8_*_ __author__ = 'Alex Li' import time # print(time.clock()) #返回处理器时间,3.3开始已废弃 , 改成了time.process_time()测量处理器运算时间,不包括sleep时间,不稳定,mac上测不出来 # print(time.altzone) #返回与utc时间的时间差,以秒计算\ # print(time.asctime()) #返回时间格式"Fri A…