[转]Python之数据序列化(json.pickle.shelve) 本节内容 前言 json模块 pickle模块 shelve模块 总结 一.前言 1. 现实需求 每种编程语言都有各自的数据类型,其中面向对象的编程语言还允许开发者自定义数据类型(如:自定义类),Python也是一样.很多时候我们会有这样的需求: 把内存中的各种数据类型的数据通过网络传送给其它机器或客户端: 把内存中的各种数据类型的数据保存到本地磁盘持久化: 2.数据格式 如果要将一个系统内的数据通过网络传输给其它系统或客户…

[写在前面] 在用requests库对自己的CSDN个人博客(https://blog.csdn.net/yuzipeng)进行爬取时,发现乱码报错(\xe4\xb8\xb0\xe5\xaf\x8c\xe7\x9),如下图所示: 网上 查找了一些方法,以为是遇到了网站加密处理.后来发现 通过F12还 是能获取网页的元素,那么有什么办法能规避乱码问题呢?答案是:用selenium. [效果如下] [示例代码] # coding=utf-8 # @Auther : "鹏哥贼优秀" # @D…

[Python成长之路]装逼的一行代码:快速共享文件 2019-10-26 15:30:05 华为云 阅读数 335 文章标签: Python编程编程语言程序员Python开发 更多 分类专栏: 技术交流   原文链接:https://mp.weixin.qq.com/s?src=11×tamp=1572074898&ver=1935&signature=VP7yvKTOEYvifpFMq4UxY*VCyeqNLtaprdw1F1m4my9ulfetcHfSykFtg4CeFShVUW5O…

[写在前面] 你要开发网站?    嗯.. 会Flask吗?    什么东西,没听过... 会JQuery吗?    是python的库吗 ? 那你会什么?    我会F12打开网站 好吧,那我们来写个简单的表格管理平台. 基于Flask框架和JQuery实现管理平台网站的开发功能,我代码编写用了2天的时间 ,从零开始写:又对具体实现流程,自己断断续续地整理总结了近半个月.从自我感觉来说,整个过程和结果的实现都让我很满意. [效果如下] [第一步]了解Flask框架 1.了解python 主流的…

Python的WEB框架 (一).Bottle Bottle是一个快速.简洁.轻量级的基于WSIG的微型Web框架,此框架只由一个 .py 文件,除了Python的标准库外,其不依赖任何其他模块. pip install bottle easy_install bottle apt-get install python-bottle wget http://bottlepy.org/bottle.py Bottle框架大致可以分为以下部分: 路由系统,将不同请求交由指定函数处理 模板系统,将模板…

[写在前面] 以前看到过一些大神制作的词云图 ,觉得效果很有意思.如果有朋友不了解词云图的效果,可以看下面的几张图(图片都是网上找到的): 网上找了找相关的软件,有些软件制作 还要付费.结果前几天在大神的公众号里的文章中看到了python也能实现,而且效果也很不错 .那还等什么,不赶紧盘它? [示例代码] # coding=utf-8 # @Auther : "鹏哥贼优秀" # @Date : 2019/7/31 # @Software : PyCharm import numpy a…

[写在前面] 鹏哥:最近老惹小燕同学不开心,结果都没人陪我聊天了.哎,好无聊呀! 肥宅男:女朋友什么的最无聊了,还没我的图灵机器人好玩. 鹏哥:图灵?好巧,和我部门同名. [效果如下] [实现过程] 1.GUI界面制作,其实和之前的几篇文章一样,没用到什么新的方法或者技巧,因此就不多说了. 2.智能聊天机器人的实现: 其实这块"核心代码"只是调用了对外商用的"图灵机器人".在偶尔的机会中,看到有这么一个有趣的网站,http://www.turingapi.com/…

[写在前面] 有时候会与同事共享文件,正常人的操作是鼠标右键,点击共享.其实有个装逼的方法,用python的一行代码快速实现基于http服务的共享方式. [效果如下] [示例代码] 在cmd窗口进入想要共享的文件夹路径,然后输入以下命令 python -m  http.server 8000 8000是端口号,可随意修改. 很简单吧! 作者: 鹏哥贼优秀…

一.简介 贝叶斯定理是关于随机事件A和事件B的条件概率的一个定理.通常在事件A发生的前提下事件B发生的概率,与在事件B发生的前提下事件A发生的概率是不一致的.然而,这两者之间有确定的关系,贝叶斯定理就是这种关系的陈述.其中,L(A|B)表示在B发生的前提下,A发生的概率.L表示要取对数的意思. 关键词解释: 1.p(A),p(B)表示A,B发生的概率,也称先验概率或边缘概率. 2.p(B|A)表示在A发生的前提下,B发生的概率,也称后验概率. 基本公式:p(A|B) = p(AB)/p(B) 图…

#创建一个空字典 empty_dict = dict() print(empty_dict) #用**kwargs可变参数传入关键字创建字典 a = dict(one=1,two=2,three=3) print(a) #传入可迭代对象 b = dict(zip(['one','two','three'],[1,2,3])) print(list(zip(['one','two','three'],[1,2,3]))) print(b) #传入可迭代对象 c = dict([('one', 1)…

Socket socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过"套接字"向网络发出请求或者应答网络请求. socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,对于文件用[打开][读写][关闭]模式来操作.socket就是该模式的一个实现,socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO.打开.关闭) socket和file的区别: file模块是针对某个指定…

概述 面向过程:根据业务逻辑从上到下写垒代码 函数式:将某功能代码封装到函数中,日后便无需重复编写,仅调用函数即可 面向对象:对函数进行分类和封装,让开发“更快更好更强...” 面向过程编程最易被初学者接受,其往往用一长段代码来实现指定功能,开发过程中最常见的操作就是粘贴复制,即:将之前实现的代码块复制到现需功能处. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 while True:     if cpu利用率 > 90%:         #发送邮…

[python自动化第一篇:python介绍与入门] [python自动化第二篇:python入门] [python自动化第三篇:python入门进阶]      [Python自动化第三篇(2):文件 函数] [python自动化第四篇:python入门进阶] [python自动化第五篇(1):模块]              [Python自动化第五篇(2):常用模块] [python自动化第六篇:面向对象] [python自动化第七篇:面向对象进阶] [python自动化第八篇:网络编程]…

#!usr/bin/env python # -*- coding:utf-8 -*- # 数据库中原有 old_dict = { "#1": {'hostname': 'c1', 'cpu_count': 2, 'mem_capicity': 80}, "#2": {'hostname': 'c1', 'cpu_count': 2, 'mem_capicity': 80}, "#3": {'hostname': 'c1', 'cpu_count…

Python中的os模块是主要和系统操作相关的模块,在平时的工作中会经常用到,花时间整理了os模块的高频使用方法,同时整理出使用时需要注意的点.归纳来讲,os模块的方法可以分为:目录操作.文件操作.路径操作.系统操作等四大类,我们接下来依次进行介绍. 目录操作相关 创建.删除.重命名目录 # 当前目录下创建目录,注意第二个参数mode,在Windows被忽略 os.mkdir("test_folder") # 删除目录,如果目录不为空,则抛出OSError:[Errno 66] Dir…

随机数据在平时写python脚本时会经常被用到,比如随机生成0和1来控制逻辑.或者从列表中随机选择一个元素(其实抽奖程序也类似,就是从公司所有人中随机选择中奖用户)等等.这篇文章,就帮大家整理在python中random模块使用频率比较高的方法. 常用方法 为了方便大家理解和记忆,将方法进行了归类: 整数用函数 random.randrange(stop) 随机返回[0, stop-1]之间的整数 random.randrange(start, stop, step) 随机返回[start, s…

for循环 for简介 [循环]:就是依照某些我们编写的特定规则,重复的做一件事. 当你需要重复的"搬砖"的时候,可以用for循环进行遍历,让机器循环的帮你去"搬砖",彻底解放我们的双手. [遍历]:所谓遍历,就是一遍一遍的经历.放到程序中,就是让程序一遍又一遍的经历重跑同一段代码程序的场景.和循环一个意思. 代码格式 nameList = ['小石头', 'xing.org1^', '郭菊锋'] for name in nameList: print(name)…

[写在前面] 有时候看到大神们的代码,偶尔会用到@来装饰函数.当时查了资料,大致了解装饰器一般用于在不改变原函数的基础上 ,对原函数功能进行修改/增强.使用场景是:日志级别设置.权限校验.性能测试等. 在当前工作中,还没具体使用到这一神器.所以想着,先了解下装饰器的使用方法,方便以后工作时用到. [小碎步走起来] 1.实现a+b的功能 def A(a, b): print(a + b) return a + b if __name__ == "__main__": A(1, 2) 2.…

一.反射 1.反射的基本介绍: 反射是所有程序的专有名词,在java,C#语言中都存在反射,那么什么是反射呢? python中 的反射概括来说:是通过字符串的形式导入模块,并通过字符串的形式去模块中寻找函数并执行. 总结: 可以以字符串的形式去(某个)对象操作的成员.模块实际也是一个对象. 2.利用字符串来导入模块 根据用户输入的模块名(input)来导入模块: #!usr/bin/env python # -*- coding:utf-8 -*- modue = input('请输入您要导入的…

本节内容 前言 json模块 pickle模块 shelve模块 总结 一.前言 1. 现实需求 每种编程语言都有各自的数据类型,其中面向对象的编程语言还允许开发者自定义数据类型(如:自定义类),Python也是一样.很多时候我们会有这样的需求: 把内存中的各种数据类型的数据通过网络传送给其它机器或客户端: 把内存中的各种数据类型的数据保存到本地磁盘持久化: 2.数据格式 无论是内存中数据进行网络传输,还是要将内存中的数据持久化到本地磁盘,我们通常都需要先把这些数据转化为字符串或字节串,而且需要…

序列化模块 一  序列化模块 pickle 1.1 基本认识 序列化:把不能够直接存储的数据变成可存储的过程就是序列化 反序列化:把储存的数据拿出来恢复成原来的数据类型就是反序列化 例如,一个文件不可以写的数据 [root@node10 python]# cat test.py with open('0209.txt',mode="w",encoding="utf-8") as fp: fp.write(123) 执行 使用列表 with open('0209.tx…

在python中,序列化可以理解为将python中对象的编码格式转换为json(pickle)格式的字符串,而反序列化可以 理解为将json(pickle)格式的字符串转换为python中对象的编码格式 举一个简单的例子,我们在vmvare环境下编写python程序,然后需要临时走开一下,但是我们又不想把这个vmvare关闭,这个时候我们可以选择挂机,这样我们再回来继续操作时候,就可以直接恢复到走之前的状态,那么我们之前编写的代码及vmvare的状态是保存在哪里了呢,实际上是保存在文件当中来了,…

#!/usr/bin/env python # -*- coding;utf-8 -*- """ 正解(序列化):将Python数据类型转换成json或者pickle格式的字符串 json.dumps(序列化的对象) pickle.dumps(序列化的对象) json.dump(序列化的对象, 支持可以执行写操作的类文件对象) pickle.dump(序列化的对象, 支持可以执行写操作的类文件对象) 反解(反序列化):将json或者pickle格式的字符串转换成Python数…

先参考这篇记录大概理解了原因, 再深入了解下python的import机制, 发现自己的模块之间存在互相import. 比如,A.py中import B,而B.py中也import A了, 现在执行模块A,就会先将B中的代码搬过来,但B中有import A,而此时A.pyc还没生成,所以B中import A之后的代码也执行不了: 如果mode B 的 attribute xxx是定义在import A之后,那么就会出现题目中的报错: (而python是解释性语言,所以import A之前的代码还…

一.tonado的代码 1.返回字符串 #!/usr/bin/env python # -*- coding:utf-8 -*- import tornado.ioloop import tornado.web class MainHandler(tornado.web.RequestHandler): def get(self): self.write("Hello, world") def post(self): self.write("Hello, world"…

模块简介 一.time模块二.sys模块三.datetime模块四.pickle模块 五.json模块六.OS模块七.hashlib加密模块八.第三方模块的安装方法九.requests模块十.XML模块十一.configparser模块十二.shutil十三.subprocess模块十四.logging模块 模块的分类 1.内置模块 2.自定义模块 3.第三方模块(需要安装) 模块前言:模块的导入: 模块的导入有两点需要注意: 1.在sys.path中的可以直接进行导入,因为sys.path返回…

Python基础之杂货铺   字符串格式化 Python的字符串格式化有两种方式: 百分号方式.format方式 百分号的方式相对来说比较老,而format方式则是比较先进的方式,企图替换古老的方式,目前两者并存.[PEP-3101] This PEP proposes a new system for built-in string formatting operations, intended as a replacement for the existing '%' string form…

学弟又一个自然语言处理的项目,需要在网上爬一些文章,然后进行分词,刚好牛客这周的是从一个html中找到正文,就实践了一下.写了一个爬门户网站新闻的程序 需求: 从门户网站爬取新闻,将新闻标题,作者,时间,内容保存到本地txt中. 用到的python模块: import re # 正则表达式 import bs4 # Beautiful Soup 4 解析模块 import urllib2 # 网络访问模块 import News #自己定义的新闻结构 import codecs #解决编码问题的…

数据库的简介 数据库 数据库(database,DB)是指长期存储在计算机内的,有组织,可共享的数据的集合.数据库中的数据按一定的数学模型组织.描述和存储,具有较小的冗余,较高的数据独立性和易扩展性,并可为各种用户共享. 数据库管理系统软件 数据库管理系统(Database Management System)是一种操纵和管理数据库的大型软件,用于建立.使用和维护数据库,简称DBMS.它对数据库进行统一的管理和控制,以保证数据库的安全性和完整性.用户通过DBMS访问数据库中的数据,数据库管理员也…

JavaScript基础知识点 一.JavaScript概述 参考:http://www.w3school.com.cn/b.asp JavaScript的历史 1.1992年Nombas开发出C-minus-minus(C--)的嵌入式脚本语言(最初绑定在CEnvi软件中).后将其改名ScriptEase.(客户端执行的语言) 2.Netscape(网景)接收Nombas的理念,(Brendan Eich)在其Netscape Navigator 2.0产品中开发出一套livescript的脚…