Python学习笔记（五十）爬虫的自我修养（三）爬取漂亮妹纸图

import random import urllib from urllib import request import os ######################################################### # 参数设置 wsp = 'DouziOOXX' # 打开连接 def url_open(url): req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0…

Python学习笔记（十四）

Python学习笔记(十四): Json and Pickle模块 shelve模块 1. Json and Pickle模块之前我们学习过用eval内置方法可以将一个字符串转成python对象,不过,eval方法是有局限性的,对于普通的数据类型,json.loads和eval都能用,但遇到特殊类型的时候,eval就不管用了,所以eval的重点还是通常用来执行一个字符串表达式,并返回表达式的值. 1. 什么是序列化我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化,在Python中…

Python学习笔记（十）

Python学习笔记(十): 装饰器的应用列表生成式生成器迭代器模块:time,random 1. 装饰器的应用-登陆练习 login_status = False # 定义登陆状态 def type(auth_type): # 装饰器传参函数 def login(fucn): # 装饰器函数 def inner(): # 附加功能 global login_status # 将登陆状态变量变为全局变量 if login_status == False: if auth_type ==…

Python学习笔记（十五）：类基础

以Mark Lutz著的<Python学习手册>为教程,每天花1个小时左右时间学习,争取两周完成. --- 写在前面的话 2013-7-24 23:59 学习笔记 1,Python中的大多数OOP故事都可以简化为一个表达式:object.attribute 当类启用时,为了找出attribute首次出现的地方,Python会先搜索Object,然后是该对象之上的所有类,安装由下至上.由左至右的方式搜索. 2,调用类的函数时,总是隐含着类的实例.附加在实例上的属性只属于那些实例,但附加在类上的属…

Python学习笔记（十四）：模块高级

以Mark Lutz著的<Python学习手册>为教程,每天花1个小时左右时间学习,争取两周完成. --- 写在前面的话 2013-7-23 21:30 学习笔记 1,包导入是把计算机上的目录变成Python的命名空间.包导入时也可以使用import和from语句.目录路径只能以点号.间隔.例如有这样一个目录结构: dir0/dir1/dir2/mod.py 则导入语句如下: import dir1.dir2.mod 导入时必须遵循如下规则: dir1和dir2目录中必须含有一个__init_…

Python学习笔记：利用爬虫自动保存图片

兴趣才是第一生产驱动力. Part 1 起先,源于对某些网站图片浏览只能一张一张的翻页,心生不满.某夜,冒出一个想法,为什么我不能利用爬虫技术把想看的图片给爬下来,然后在本地看个够. 由此经过一番初尝试发现,MD一个破图片网站还做什么反爬技术,还做得这么好,害我搞了一个晚上都搞不定,百思不得其解. 此事暂搁置一段落. (附图片网站:妹子图) Part 2 今日,又发现另一网站,遂再次进行测试一番,美名曰:练习技术. 此篇仅记录如何保存图片,而不是涉及网页爬取.正则解析图片链接识别等,后续再做补充…

Python学习笔记第二十五周（Django补充）

1.render_to_reponse() 不同于render,render_to_response()不用包含request,直接写template中文件 2.locals() 如果views文件中的函数里变量过多的话,可以在render或render_to_response()里面直接增加render(request,'index.html',locals())这样在前端界面渲染的时候可以直接写变量名 locals()的缺点是不想传递过去的变量也传递过去了 3.JS中的方法: a: hove…

python学习笔记-（十五）RabbitMQ队列

rabbitMQ是消息队列:想想之前的我们学过队列queue:threading queue(线程queue,多个线程之间进行数据交互).进程queue(父进程与子进程进行交互或者同属于同一父进程下的多个子进程进行交互):如果两个独立的程序,那么之间是不能通过queue进行交互的,这时候我们就需要一个中间代理即rabbitMQ 消息队列: RabbitMQ ZeroMQ ActiveMQ ........... 一. 安装 1. ubuntu下安装rabbitMQ: 1.1 安装: sudo a…

Python学习笔记第十五周

目录: 一.CSS补充 1.position 2.overflow 3.hover 4.background 二.JavaScript 三.DOM 主要内容: 一.CSS补充 1.position 可以定义元素锚定到哪个位置 1.fixed固定在窗口的某个位置例子: 将网页分为上下两部分,其中头部占据页面上方,内容部分可以滑动,但是头部不会被覆盖 <style> .pg-header{ height:48px; background-color: black; color:#dddddd;…

Python 学习笔记（十五）Python类拓展（二）方法

方法绑定方法和非绑定方法绑定方法和非绑定方法在创建时没有任何区别,同一方法,既可以为绑定方法,也可以为非绑定方法,一切不同都只在调用时的手法上有所区别. 绑定方法即该方法绑定类的一个实例上,必须将self作为第一个参数传入,而这个过程是由Python自动完成.可以通过实例名.方法名(参数列表)来调用. 非绑定方法因为不绑定到实例上,所以在引用时通过类来进行引用.该过程不是 Python 自动完成,如果忘记传入实例,那么直接调用是肯定会出问题的.所以要调用类的非绑定方法时应该显示地提供一个实例…

Python 学习笔记（十五）Python类拓展（一）继承

继承继承(Inheritance):是面向对象软件技术当中的一个概念.如果一个类别A "继承自" 另一个类B,就把这个A称为“B的子类”,而把B称为“A的父类”,也可以称“B是A的超类”. 重用代码属性和方法的继承单继承和super函数示例1:子类调用父类update_web(),执行父类update_web() #! /usr/bin/env python # coding:utf-8 class Person(object): #新式类 def __init__(self,…

Python学习笔记（十五）用Python获取本地数据

f1 = open(r'E:\Python\Data\data1.txt') #读取data1.txt文件,使用系统默认缓冲区大小, 为了读取快点,使用缓存吧! f = open(r'E:\Python\Data\data2.txt', 'w') f.write('Hello World !') f.close() f = open(r'E:\Python\Data\data2.txt', 'r') p1 = f.read(5) # 先读5个字节 p2 = f.read() # 余下的都读出来f…

python学习笔记（十五）之集合

集合:对应数学中的集合类型.集合中的元素是唯一,且无序的. 创建集合方法一:使用{},注意python会自动删除重复元素 >>> number = {1,2,3,4,3,2,1} >>> number {1, 2, 3, 4} 方法二:使用set()工厂函数,传递一个列表,元组或字符串 >>> temp = set([1,2,3,2,1]) >>> temp {1, 2, 3} >>> temp = set((1,…

python学习笔记（十五）异常处理

python解析器去执行程序,检测到了一个错误时,触发异常,异常触发后且没被处理的情况下,程序就在当前异常处终止,后面的代码不会运行,所以你必须提供一种异常处理机制来增强你程序的健壮性与容错性 . 例如,我们定义一个函数 first = input('请输入除数:') second = input('请输入被除数:') first = int(first) second = int(second) res = first/second li = [,,,] print(li[]) 如果除数sec…

python学习笔记（十五）python操作数据库

1.连接mysql,ip,端口号,密码,账号,数据库 2.建立游标 3.执行sql 4.获取结果 5.关闭连接,关闭游标游标打开仓库的大门: import pymysql conn=pymysql.connect( host='127.0.0.1', user='root1', passwd='mysql', port=3306, db='mysql', charset='utf8' #charset必须写utf8,不能写utf-8 ) cur=conn.cursor(cursor=pymys…

Python学习笔记五

一. 递归递归函数: def a (): print ("from b") b() def b(): print("from a ") a() a() 递推和回溯递归练习二. 二分法列表从小到大的数字列表,采用二分法. 三. 匿名函数 lambda n:n**2 自带return,适用于只有一行代码的函数体. 匿名函数调用:匿名函数就是个值.直接使用就行.不用为匿名函数绑定名称,匿名函数只能用一次,就会被回收. 匿名函数的应用场景:某个功能只用一次. 四. …

Python学习笔记第十周

目录: 一.基础概念 1.多进程 2.进程间通信 3.进程锁 4.进程池 5.协程 a) greenlet b) Gevent 6.论事件驱动与异步IO 7.IO多路复用 8.Python Select 一.基础概念: 1.多进程multiprocessing 多进程和多线程模块一样,都是一个可以使用一个API产生多个进程的模块,多进程提供了本地与远程的并发,通过使用子进程代替线程,多进程比GIL下的多线程更高效,基于这个原因,多进程模块可以允许开发人员在一个给定的设备上运行多个进程备注:py…

python学习笔记五模块上（基础篇）

模块学习模块,用一砣代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合.而对于一个复杂的功能来,可能需要多个函数才能完成(函数又可以在不同的.py文件中),n个 .py 文件组成的代码集合就称为模块. 模块分为三种: 自定义模块内置标准模块(又称标准库) 开源模块自定义模块: #hello.py def hello(): print("hello world") if __name__…

Python学习笔记第十八周

目录: 一.JavaScript正则表达式 1.test 2.exec 二.BootStrap 1.响应式 2.图标.字体 3.基本使用三.Django 1.安装 2.创建目录 3.进入创建的目录中,该目录概括一个目录与一个文件 4.运行程序 5.创建APP 6.APP目录内容: 一.JavaScript正则表达式 1.test 判断字符串是否符合规定的正则表达式例子: rep = /^\d+$/ rep.test('123')返回true 2.exec 获取匹配的数据,…

Python学习笔记第十二周

目录: 数据库介绍 mysql 数据库安装使用 mysql管理 mysql 数据类型常用mysql命令事务索引创建数据库外键增删改查表权限 python 操作mysql ORM sqlachemy学习内容: 1.数据库介绍什么是数据库? 数据库是按照数据结构来组织.存储和管理数据的仓库,每个数据库都有一个或多个不同的API用于创建.访问.管理.搜索和复制所保存的数据,我们也可以将数据存储在文件中,但是文件读写数据速度相对较慢,所以现在我们使用关系型数据库管理系统RDBMS来存储…

Python学习笔记五：错误与异常

一:常见异常与错误 BaseException 所有异常的基类SystemExit 解释器请求退出KeyboardInterrupt 用户中断执行(通常是输入^C)Exception 常规错误的基类StopIteration 迭代器没有更多的值GeneratorExit 生成器(generator)发生异常来通知退出StandardError 所有的内建标准异常的基类ArithmeticError 所有数值计算错误的基类FloatingPointError 浮点计算错误OverflowError…

Python学习笔记（十）—— 高级特性

一.切片 1.定义: 经常取指定索引范围的操作,用循环十分繁琐,因此,Python提供了切片(Slice)操作符. 2.语法: A[1:3] 取出1到3,都是正数的情况下,缺填的为0(第一个),end(最后一个) B[-3:] 取出倒数第三个到倒数第一个,都是负数的情况下,缺填的为-1(最后一个) C[1:10:2] 从1到10,每2个取一个跟matlab差不多的语法,就是对一个向量可以进行矩阵操作.可以对List.tuple,string,dict,set等使用二.切片 1.定义: 如果给…

python学习笔记（十九）发送邮件

在python开发项目或者做自动化测试时候,在测试完成后需要将测试结果总结后进行上报,那么我们就可以通过发送邮件来完成这项工作. 下面我们来看看python中怎么发送邮件的,python中发送邮件可以使用smtplib模块或者yagmail模块,其实yagmail模块里面已经封装了smtplib模块,所以下面我们直接学习下yagmail模块发送邮件.模块可在我的网盘下载:https://pan.baidu.com/s/1hvS78sv6-XOwBLXLOIa5GQ,下载之后pip install…

python学习笔记(五):装饰器、生成器、内置函数、json

一.装饰器装饰器,这个器就是函数的意思,连起来,就是装饰函数,装饰器本身也是一个函数,它的作用是用来给其他函数添加新功能,比如说,我以前写了很多代码,系统已经上线了,但是性能比较不好,现在想把程序里面每个函数都加一个功能,用来统计每个函数的运行时间是多少,找出来运行比较慢的函数,来优化代码,就需要添加一个新的功能,来统计程序的运行时间,那这样的话,就得修改每个函数了,需要改代码,但是代码特别多,改完了公司倒闭了,这时候装饰器就能排上用场了,它可以不改变原有的函数,原来的函数和原来一模一样,什么…

Python学习笔记五(读取提取写入文件)

#Python打开读取一个文件内容,然后写入一个新的文件中,并对某些字段进行提取,写入新的字段的脚本,与大家共同学习. import os import re def get_filelist(dir): os.getcwd() #get current work direction. os.chdir(path) #change direction Filelist = [] for home, dirs, files in os.walk(path): for filename in fil…

【Python学习笔记（五十）爬虫的自我修养（三）爬取漂亮妹纸图】的更多相关文章