pickle与序列化和反序列化 官方文档 模块 pickle 实现了对一个 Python 对象结构的二进制序列化和反序列化. "pickling" 是将 Python 对象及其所拥有的层次结构转化为一个字节流的过程,而 "unpickling" 是相反的操作,会将(来自一个 binary file 或者 bytes-like object 的)字节流转化回一个对象层次结构. pickling(和 unpickling)也被称为"序列化", &qu…

引言: 昨天在网易云课堂自学了<Python网络爬虫实战>,视频链接 老师讲的很清晰,跟着实践一遍就能掌握爬虫基础了,强烈推荐! 另外,在网上看到一位学友整理的课程记录,非常详细,可以优先参考学习.传送门:请点击 本篇文章是自己同步跟着视频学习的记录,欢迎阅读~~~ 实验:新浪新闻首页爬虫实践 http://news.sina.com.cn/china/ 一.准备 浏览器内建的开发人员工具(以Chrome为例) Python3 requests 库 Python3 BeautifulSoup4…

爬虫基础 urllib,urllib2,re都是python自带的模块 urllib,urllib2区别是urllib2可以接受一个Request类的实例来设置url请求的headers,即可以模拟浏览器访问url 而urllib仅可以技术url,不可以伪装user-agent字符串等,urllib提供的urlencode方法用来get查询字符串的产生,所以要搭配使用,但urllib2使用的更广泛 re是正则表达式模块,用来分析网站信息 (.*?)是常用的匹配模式,匹配出了换行符以外的字符,是非…

注意,我们在print语句的结尾使用了一个 逗号 来消除每个print语句自动打印的换行符.这样做有点难看,不过确实简单有效. print # prints a blank line 注意,没有返回值的return语句等价于return None.None是Python中表示没有任何东西的特殊类型.例如,如果一个变量的值为None,可以表示它没有值.除非你提供你自己的return语句,每个函数都在结尾暗含有return None语句.通过运行printsomeFunction(),你可以明白这一…

numpy是一个python和矩阵相关的库,在机器学习中非常有用,记录下numpy的基本用法 numpy的数组类叫做ndarray也叫做数组,跟python标准库中的array.array不同,后者只处理一维的数组而且提供很少的函数,numpy中有更多重要的属性 分别是 ndarray.ndim    该数组的维度,轴的数量 ndarray.shape    该数组的尺寸二维数组(m, n)m行n列,如果是三维或者以上的会包含其维度即(维度,m,n) ndarray.size    数组中所有元…

CORBA: 具体的对CORBA的介绍安全客这篇文章https://www.anquanke.com/post/id/199227说的很详细,但是完全记住是不可能的,我觉得读完它要弄清以下几个点: 1.什么是CORBA? CORBA全称(Common ObjectRequest Broker Architecture)也就是公共对象请求代理体系结构,是OMG(对象管理组织)制定的一种标准的面向对象应用程序体系规范.其提出是为了解决不同应用程序间的通信,曾是分布式计算的主流技术. 2.CORBA能…

1.多线程的创建 import threading t = t.theading.Thread(target, args--) t.SetDeamon(True)//设置为守护进程 t.start(),启动线程 t.join(),阻塞当前线程,即使得在当前线程结束时,不会退出.会等到子线程结束之后才退出. 如果不加join语句,主线程不会等到子线程结束才结束,但却不会立即杀死该线程. 但是如果添加了SetDaemon(True),如果不加join,则会在主线程结束后马上杀死子线程. 如果join…

最简的形式 from tkinter import * root = Tk() # 创建一个Tk实例 root.wm_title("标题") # 修改标题 root.mainloop() # 进入root的事件循环 运行结果 label标签的使用 from tkinter import * root = Tk() root.wm_title("标题") w1 = Label(root, text="~~~~~~1号标签~~~~~~") w2 =…

Ubuntu18.04安装python3-pip 1.apt-get update更新源 2,ubuntu18.04默认安装了python3,但是pip没有安装,安装命令:apt install python3-pip(apt install python-pip安装的是python2b版本的pip) 安装mongodb: apt-get install mongodb. 执行mongod命令之后创建了一个/data/db. mongo进入mongodb的命令行操作. 这篇关于mongodb的安…

常用的命令: http://www.runoob.com/python/python-reg-expressions.html 使用中相关注意问题: 1. 中括号里的表示从N到M需要用横线‘-’, 而大括号里表示从N-M需要用逗号‘,’,如: [0-9]:表示匹配0-9之间的数字 [0-9]{3,8}:表示匹配3到8个0-9之间的数字 2. 一些字符符号,被中括号包含的时候,就表示匹配相同的字符\符号,如 r = r'.', 这个正则表达式匹配的是任意一个字符,包含数字,字母,字符 r1 = r…

python中有些特殊的方法,以双上下划线开头,并以双下划线结束的方法.如__getitem__,这些方法是特殊的方法,供python解释权内部使用,一般来说不需要调用 还有一种是以双下划线开头的,如__xxx,这些方法是私有方法,供类的内部使用,最好不要在外部使用. 如何使用特殊方法 my_object.__len__()这是给内部使用的,要在外部使用应该使用len(my_object),如果my_object是自定义类,python会调用其内部的__len__方法,当然我们可以重写该方法 如…

有时候我们需要写一些脚本处理一些任务,这时候往往需要提供一些命令行参数,根据不同参数进行不同的处理,在Python里,命令行的参数和C语言很类似(因为标准Python是用C语言实现的).在C语言里,main函数的原型为int main(int argc, char **argv),这里主要指linux平台, argc指的是命令行传入的参数个数(程序的name为第一个参数),而argv则是一个指针数组,每一个元素为指向一个命令行参数的指针.在Python里的命令行参数是存储在sys.argv里,a…

1.IDEA写python 打开IDEA,File--->settings---->Plugins    输入python  安装   重启IDEA 2.新建Project     选择Python   next 3.第一个python程序 右键 项目       New   Python File # 第一个python程序 print("Hello World!") 右键  RUN    控制台输出 已经装了python的并配置了环境变量.…

一.介绍 dict 的用法比较简单,它可以存储任意值,并允许是不同类型的值,下面实例来说明: 下面例子中 a 是整数, b 是字符串, c 是数组,这个例子充分说明哈希数组的适用性. 每一个元素是pair,包含key.value两部分.key是Integer或string类型,value 是任意类型. 键是唯一的,字典只认最后一个赋的键值. 不允许同一个键出现两次.创建时如果同一个键被赋值两次 二.字典初始化 1.普通赋值方法 print("===="*5,"dict ini…

1. pip freeze 可以查看安装的模块信息 2. 查看某个模块是否已经安装了 conda(pip) search <moduleName>.图一显示为未安装,图二显示为已经安装…

1.如果脚本中带有中文(中文注释或者中文字符串,中文字符串前面需要在前面加u),且需要在文件头注明编码,并将UTF-8编码格式 #-*-coding:utf-8 -*- printf u'你好,WORLD!'…

title: Python学习记录day5 tags: python author: Chinge Yang date: 2016-11-26 --- 1.多层装饰器 多层装饰器的原理是,装饰器装饰函数后,其实也是一个函数,这样又可以被装饰器装饰. 编译是从下至上进行的,执行时是从上至下进行. #!/usr/bin/env python # _*_coding:utf-8_*_ ''' * Created on 2016/11/29 20:38. * @author: Chinge_Yang.…

title: Python学习记录day6 tags: python author: Chinge Yang date: 2016-12-03 --- Python学习记录day6 @(学习)[python] [TOC] 1.反射 反射:利用字符串的形式去对象(默认)中操作(寻找)成员 cat commons.py #!/usr/bin/env python #_*_coding:utf-8_*_ ''' * Created on 2016/12/3 21:54. * @author: Chin…

虽然对python的基础知识有所了解,但是为了更深入的学习,要对python的各种经典书籍进行学习 第一章介绍python的优缺点,略过 第二章介绍python起步,第三章介绍python基础,仅记录一些有用的 help(函数名),获取函数的使用帮助,q退出 python支持五种基本的数字类型 int(有符合整数),long(长整数),bool(布尔值),complex(复数),float(浮点数) decimal(十进制浮点数)2.4以后添加了 for item in items常用来循环遍历…

[Python 学习]2.5版yield之学习心得 - limodou的学习记录 - limodou是一个程序员,他关心的焦点是Python, DocBook, Open Source - [Python 学习]2.5版yield之学习心得 在 shhgs 发布了关于< Py 2.5 what's new 之 yield>之后,原来我不是特别关注 yield 的用法,因为对于2.3中加入的yield相对来说功能简单,它是作为一个 generator 不可缺少的一条语句,只要包含它的函数即是一个…

学习记录day03   字符串可以直接切片,But字符串不可修改 字符串修改:生成了一个新的字符串 LIst修改,在原基础上修改(原内存上)     集合是一个无序的,不重复的数据组合,它的主要作用如下:   去重,把一个列表变成集合,就自动去重了 关系测试,测试两组数据之前的交集.差集.并集等关系 dict\list\set.. 全用 x in ..计算,,dict.has_key等已废   文件: fp = open() #文件句柄,文件句柄里存的内容: 文件信息.在磁盘上的开始位置.内存等…

目录 Python学习记录day8 1. 静态方法 2. 类方法 3. 属性方法 4. 类的特殊成员方法 4.1 __doc__表示类的描述信息 4.2 __module__ 和 __class__ 4.3 __init__ 构造方法 4.4 __del__ 析构方法 4.5 __call__ call方法 4.6 __dict__ 4.7 __str__ 方法 4.8 __getitem__.__setitem__.__delitem__ 4.9 __new__  __metaclass__…

目录 Python学习记录day7 1. 面向过程 VS 面向对象 编程范式 2. 面向对象特性 3. 类的定义.构造函数和公有属性 4. 类的析构函数 5. 类的继承 6. 经典类vs新式类 7. 多态 title: Python学习记录day7 tags: python author: Chinge Yang date: 2017-02-18 --- Python学习记录day7 @(学习)[python] 1. 面向过程 VS 面向对象 编程范式 编程是程序员用特定的语法+数据结构+算法组…

零.补充: 补充于2018-02-08,之前研究时候有一个疑惑,python的序列化成二进制,打web服务怎么传这个二进制对象呢,今天请教了身边大神(传说的九零后黑客代表),可以使用base64传输. 测试代码: #client.py import os import sys import base64 import socket import cPickle #定义payload类型 class payload(object): def __init__(self,command): self…

自我学习记录 Python3 挑战实验 -- 字符串操作 目标 在/home/shiyanlou/Code创建一个 名为 FindDigits.py 的Python 脚本,请读取一串字符串并且把其中所有的数字组成一个新的字符串,并且打印出来.我们提供的字符串可以通过在命令行中输入如下代码来获取. wget http://labfile.oss.aliyuncs.com/courses/790/String.txt  wget:Linux下载命令 提示语 使用循环来访问字符串中的单个字符 isdi…

Python学习记录:括号配对检测问题 一.问题描述 在练习Python程序题的时候,我遇到了括号配对检测问题. 问题描述:提示用户输入一行字符串,其中可能包括小括号 (),请检查小括号是否配对正确,配对成功与否分别输出: 配对成功! 配对失败! 其中,小括号配对要考虑配对顺序,即()表示配对,)(不是配对,只考虑小括号配对. 一提起括号配对,我们可能会想到C语言正则表达式计算的符号优先级问题,在C语言中我们通常使用栈来解决,而在Python中我们也可以用栈的思路和方法,以列表的形式来实现它.把…

@ 目录 前言 Day 01 一.python的历史和种类 二.安装python解释器以及配置环境变量 三.变量.常量和注释 Day 02 Day 03 Day 04 Day 05 Day 06 一.初识函数 二.函数的结构与调用 三.函数的返回值 四.函数的参数 Day07 今日内容大纲 昨日内容回顾 今日总结 Day08 今日内容大纲 昨日内容回顾 今日总结 前言 前期贴了很多代码,后期我会全部push到我的码云仓库以及github上,随时更新.有需要的可以fork到你们本地.仓库地址htt…

"利用python进行数据分析"学习记录 --day01 08/02 与书相关的资料在 http://github.com/wesm/pydata-book pandas 的2名字来源是 pannel data 安装python的包 conda install package_name pip install package_name 更新python的包 conda update package_name pip install --upgraade package_name 我觉得…

从网上找到一个Python的学习视频,之前的环境都装好了,今天看的就是算术运算符和变量的命名 其中Python的除法直接就是 / %用于求余 其中还可以进行幂运算**    例如2 ** 3 = 8 *既可以是“乘”也可以用于字符串的拼接  例如‘-’*50 就代表着50个‘-’ python的标识符是区分大小写的 if语句当中时根据空格进行匹配的,if和else前面的空格数应该相同则二者匹配为一个条件语句所以使用的时候tab键与空格不要混用否则会出错 if语句与缩进的部分是一个完整的代码块 s…

参考文章 一篇文章带你理解漏洞之 Python 反序列化漏洞 Python Pickle/CPickle 反序列化漏洞 Python反序列化安全问题 pickle反序列化初探 前言 上面看完,请忽略下面的内容 Python 中有很多能进行序列化的模块,比如 Json.pickle/cPickle.Shelve.Marshal 一般 pickle 模块较常使用 在 pickle 模块中 , 常用以下四个方法 pickle.dump(obj, file) : 将对象序列化后保存到文件 pickle.…