def info(object,spacing=10,collapse=1): """Print methods and doc strings. Takes modules,class,list,dictionary,or string.""" methodList = [method for method in dir(object) if callable(getattr(object,method))] processFunc=colla…

def buildConnectionString(params): """Build a connection string from a dictionary Returns string. """  return ";".join(["%s=%s" % (k, v) for k, v in params.items()]) if __name__ == "__main__":  m…

字符串 文本:屏幕上显示的字符或者其他的记号 计算机认识的东西:位(bit)和字节(byte) 文本的本质:某种字符编码方式保存的内容. 字符编码:一种映射(显示的内容  ----> 内存.磁盘内存储的内容) 编码方式:一种将计算机可读的数字映射成人类可读的字符的解码秘钥. unicode 1 为任意语言的任意字符设计 2 4字节 3 每个数字代表唯一的符号 4 UTF-32:每1个字符使用4个字节 UTF-16:每1个字符使用2个字节(前65535个字符),空间效率比UTF-32高 5 UTF…

Python Shell idle的使用 >>> >>>help() ----> help> 可以在help这个工具中查找Python内置函数的文档等等,例如输入print. ps:非常酷的工具!!! print()函数是内置的,不用显式的声明.所谓的内置函数,build-in function 声明函数: def func_name(param1, param2): 注意: 1 函数不用定义返回值类型,也不用指定是否有返回值 2 有执行return语句,将…

python基础——实例属性和类属性 由于Python是动态语言,根据类创建的实例可以任意绑定属性. 给实例绑定属性的方法是通过实例变量,或者通过self变量: class Student(object): def __init__(self, name): self.name = name s = Student('Bob') s.score = 90 但是,如果Student类本身需要绑定一个属性呢?可以直接在class中定义属性,这种属性是类属性,归Student类所有: class St…

留言板回复作者邮件提醒 -----------2016-5-11 15:03:58-- source:python发送邮件实例…

python Cmd实例之网络爬虫应用 标签(空格分隔): python Cmd 爬虫 废话少说,直接上代码 # encoding=utf-8 import os import multiprocessing from cmd import Cmd import commands from mycrawler.dbUtil import DbUtil import signal # 下载监控 def run_download_watch(): os.system("gnome-terminal…

2010 年 5 月 5 日更新:我翻译了一篇<<Dive Into Python>非死不可>作为对本文观点的进一步支持和对评论的回复,请见:http://blog.csdn.net/lanphaday/archive/2010/05/05/5558617.aspx 为什么<Dive into Python>不值得推荐 作者:赖勇浩(http://blog.csdn.net/lanphaday ) 不论是在国内人气最旺的 Python 社区 python-cn goog…

很多网页的信息都是通过异步加载的,本文就举例讨论下此类网页的抓取. <工作细胞>最近比较火,bilibili 上目前的短评已经有17000多条. 先看分析下页面 右边 li 标签中的就是短评信息,一共20条.一般我们加载大量数据的时候,都会做分页,但是这个页面没有,只有一个滚动条. 随着滚动条往下拉,信息自动加载了,如下图,变40条了.由此可见,短评是通过异步加载的. 我们不可能一次性将滚动条拉到最下面,然后来一次性获取全部的数据.既然知道是通过异步来加载的数据,那么我们可以想办法直接去获取这…

字体反爬 字体反爬也就是自定义字体反爬,通过调用自定义的字体文件来渲染网页中的文字,而网页中的文字不再是文字,而是相应的字体编码,通过复制或者简单的采集是无法采集到编码后的文字内容的. 现在貌似不少网站都有采用这种反爬机制,我们通过猫眼的实际情况来解释一下. 下图的是猫眼网页上的显示: 检查元素看一下 这是什么鬼,关键信息全是乱码. 熟悉 CSS 的同学会知道,CSS 中有一个 @font-face,它允许网页开发者为其网页指定在线字体.原本是用来消除对用户电脑字体的依赖,现在有了新作用——反爬…