本人最近在学习python,今天想使用python来抓取糗事百科网站上的一些笑话故事的,由于糗事百科的网站url采取的是https协议,所以当我按照常规的方式抓取的时候,发现不行,报错了,找了很多方法都不好使,这对于一个初学者来说真是很捉鸡的一件事情,最后google了好久,终于找到了解决的办法,接下来一起看一下 一.针对https协议的网站需要验证证书 错误信息:'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.…

转载原地址: http://aajs800.blog.51cto.com/519255/109555 什么是HTTPS: HTTPS(Secure Hypertext Transfer Protocol)安全超文本传输协议 它是一个安全通信通道,它基于HTTP开发,用于在客户计算机和服务器之间交换信息.它使用安全套接字层(SSL)进行信息交换,简单来说它是HTTP的安全版. 它是由Netscape开发并内置于其浏览器中,用于对数据进行压缩和解压操作,并返回网络上传送回的结果.HTTPS实际上应用…

HTTP可能是我们见到过最多的一个字符串了,应该没有之一,而对于HTTPS到来和趋势,我们又开始看到SSL/TLS,所以对于一般不只做技术的人来说这或许还是一个疑问,那么子凡就趁最近在折腾这方面来给大家一起分享和科普一下吧! 一.HTTP和HTTPS之间的区别 HTTP是一种协议,全称叫作:超文本传输协议(HTTP,HyperText Transfer Protocol),是互联网上应用最为广泛的一种网络协议.所有的WWW文件都必须遵守这个标准. 同样HTTPS也是一种超文本传送协议,(HTTP…

先来回顾一下昨天的内容 网络编程开发架构 B/S C/S架构网卡 mac地址网段 ip地址 : 表示了一台电脑在网络中的位置 子网掩码 : ip和子网掩码按位与得到网段 网关ip : 内置在路由器中的交换机 :能够保证在一个局域网内的机器之间通信路由器 :跨局域网之间的通信 - 路由表 arp协议 ——查询IP地址和MAC地址的对应关系 地址解析协议,即ARP(Address Resolution Protocol),是根据IP地址获取物理地址的一个TCP/IP协议. 主机发送信息时将包含目标I…

内容: 1.http协议介绍 2.https协议介绍 3.http协议和https协议对比 1.http协议介绍 (1)http协议是什么 1 一个传输协议,协议就是双方都遵守的规范. 2 为什么叫超文本传输协议呢,因为收发的是文本信息. 3 1,浏览器(客户端)按照规定的格式发送文本数据(请求)到服务器 4 2,服务器解析请求,按照规定的格式返回文本数据到浏览器 5 3,浏览器解析得到的数据,并做相应处理 (2)请求和返回的数据格式 1 请求和返回是一样的数据格式,分为4部分: 2 请求行或者…

前言 https,SSH协议和MD5加密是前端可能会接触到的加密,所以我就将他们进行了一个归纳. 1.https 1.1原理 A.就是在http加入SSL层,是http安全的基础;B.htts协议是在http基础上加了SSL协议;C.使用443端口,http是80端口;D.由网景公司开发并内置在浏览器中; 1.2作用 A.建立一个信息安全通道,来保证数据传输的安全;B.确认网站的真实性,可以查看网站认证的真实性; 1.3核心是SSL层 A.位置:是一个安全套层,是介于TCP?IP之间;B.分类:…

###############    网络编程    ############## """ 网络编程 学习了Python基础之后,包括函数,面向对象等,你就可以开发了,你不会就去找这个模块怎么用,就行了, 现在两个电脑上的程序要通信,才产生了网络,比如qq聊天 ############################### cs架构和bs架构 程序架构有cs架构和bs架构,本质都是两个程序之间的通信, cs架构是c是客户端,s是服务端,服务端要一直运行,等待服务,客户端是我需…

http协议和Chrome抓包工具 什么是http和https协议: HTTP协议:全称是HyperText Transfer Protocol,中文意思是超文本传输协议,是一种发布和接收HTML页面的方法.服务器端口号是80端口. HTTPS协议:是HTTP协议的加密版本,在HTTP下加入了SSL层.服务器端口号是443端口. 在浏览器中发送一个http请求的过程: 当用户在浏览器的地址栏中输入一个URL并按回车键之后,浏览器会向HTTP服务器发送HTTP请求.HTTP请求主要分为"Get&q…

原文: http://pingguohe.net/2015/11/24/Navigator-and-Rewrite.html 解耦神器 —— 统跳协议和Rewrite引擎 Nov 24, 2015 • Gaosboy 题记:天猫App长大了,已经长成了流量以千万计规模的App,当下至少有10个团队在直接维护天猫App.在App长大,团队扩充的过程中解耦是一个永恒的话题,而界面解耦又是App架构的重中之重. 统跳协议是天猫App统一跳转协议,主要负责天猫App界面之间的串联,也就是界面跳转服务.R…

简介 没有切换开销.因为子程序切换不是线程切换,而是由程序自身控制,没有线程切换的开销,因此执行效率高, 不需要锁机制.因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多 Python对协程的支持还非常有限,用在generator中的yield可以一定程度上实现协程. yield 传统的生产者-消费者模型是一个线程写消息,一个线程取消息,通过锁机制控制队列和等待,但一不小心就可能死锁. 如果改用协程,生产者生产消息后,直接通过y…