今日概要: 1.爬汽车之家的新闻资讯 2.爬github和chouti 3.requests和beautifulsoup 4.轮询和长轮询 5.django request.POST和request.body 一.HTTP知识扫盲 1.http的get请求 是没有请求体,所有的参数都放在请求头的url里 2.http的post请求 将请求内容放到请求体里 3.http = 请求头+请求体 响应头+响应体 4.http是无状态请求,一个请求,一次响应就会结束 二.爬取汽车之家的新闻页 #!/usr…

今日内容概要 1.高性能相关 2.scrapy初识 上节回顾: 1. Http协议 Http协议:GET / http1.1/r/n...../r/r/r/na=1 TCP协议:sendall("GET / http1.1/r/n...../r/r/r/na=1") 2. 请求体 GET: GET / http1.1/r/n...../r/r/r/n POST: POST / http1.1/r/n...../r/r/r/na=1&b=2 POST / http1.1/r/n.…

今日简介: - 编码 - 进制转换 - 初识对象 - 基本的数据类型 - 整数 - 布尔值 - 字符串 - 列表 - 元祖 - 字典 - 集合 - range/enumcate 一.编码 encode和decode 编码就是将字符串转换成字节码,涉及到字符串的内部表示. 解码就是将字节码转换为字符串,将比特位显示成字符. file = '文本' file.decode(encoding="utf-8", errors="strict") file.encode(en…

今日内容概要 1.cookie操作 2.pipeline 3.中间件 4.扩展 5.自定义命令 6.scrapy-redis 7.flask使用 - 路由系统 - 视图 - 模版 - message(闪现) - 中间件 - session - 蓝图 - 安装第三方插件 Scrapy - 创建project - 创建爬虫 - 编写 - 类 - start_urls = ['http://www.xxx.com'] - def parse(self,response): yield Item对象 y…

今日概要: 1.related_name和related_query_name的区别 2.through_fields的用途 3.django的事务提交 4.点赞的动画效果 5.多级评论的原理 6.上传文件 7.request.post用法 8.如果保留原来的页面 一.related_name和related_query_name的区别 related_name,用于定义反向关联时候,使用的字段名称 related_query_name 用于反向查询related_query_name + _s…

今日概要 1.javascript简单语法 1.javascript的历史 1992年Nombas开发出C-minus-minus(C--)的嵌入式脚本语言(最初绑定在CEnvi软件中).后将其改名ScriptEase.(客户端执行的语言) Netscape(网景)接收Nombas的理念,(Brendan Eich)在其Netscape Navigator 2.0产品中开发出一套livescript的脚本语言.Sun和Netscape共同完成.后改名叫Javascript 微软随后模仿在其IE3…

今日概要: 1.伪类选择器 2.选择器优先级 3.vertical-align属性 4.backgroud属性 5.边框border属性 6.display属性 7.padding,margine(见12节css) 8.float半脱离文档流(见12节css) 9.clear清除浮动 10.postion定位 11.列表属性 1.伪类选择器 anchor伪类:专用于控制链接的显示效果(hover重点) hover操作标签必须是悬浮标签的子元素:    .box:hover .div1{} '''…

python自动化开发学习 进程, 线程, 协程   前言 在过去单核CPU也可以执行多任务,操作系统轮流让各个任务交替执行,任务1执行0.01秒,切换任务2,任务2执行0.01秒,在切换到任务3,这样反复执行下去,表面上看每个任务都是交替执行的,但是由于CPU速度太快,让我们觉得所有任务是在同时执行一样.真正的并行执行多任务只能在多核CPU上,但是由于任务数量远远多于CPU的核心数量,所以,操作系统也会自动把多任务轮流调度到每个核心上运行. 多任务的实现有三种方式: 多进程模式 多线程模式 多…

python自动化开发学习 I/O多路复用   一. 简介 socketserver在内部是由I/O多路复用,多线程和多进程,实现了并发通信.IO多路复用的系统消耗很小. IO多路复用底层就是监听socket对象内部是否有变化,是否在收发消息,Python中select模块提供了select poll epoll 三种方式来实现IO多路复用,支持不同的操作系统. windows : 提供select Mac : 提供select Linux : 提供select, poll, epoll (1)…

difference between urllib and urllib2 自己翻译的装逼必备 What is the difference between urllib and urllib2 modules of Python? #python的urllib2模块和urllib模块之间有什么不同呢? You might be intrigued by the existence of two separate URL modules in Python - urllib and urllib…