一.爬虫的相关概念 1.什么是爬虫 互联网:由网络设备(网线,路由器,交换机,防火墙)和一台台计算机连接而成,像一张网一样. 互联网建立目的:互联网的核心价值在与数据的共享/传递:数据是存放在一台台机器上,将计算机联到一起的目的为了能方便彼此之间的数据共享/传递,否则你只能拿U盘去别人的计算机上拷贝数据. 爬虫概念 爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程. 爬虫分类 通用爬虫:爬取整个页面源码数据,抓取数据 聚焦爬虫:爬取一个页面中局部的数据(数据解析),也就是有用…

爬虫前篇 /https协议原理剖析 目录 爬虫前篇 /https协议原理剖析 1. http协议是不安全的 2. 使用对称秘钥进行数据加密 3. 动态对称秘钥和非对称秘钥 4. CA证书的应用 5. 总结 https是基于http和SSL/TLS实现的一个协议,他可以保证在网络上传输的数据都是加密的,从而保证数据安全. 接下来我们从http协议开始,提出想法并逐步进行分析,最终实现Https. 1. http协议是不安全的 在https诞生之前,所有网站都使用http协议,而http协议在数据传…

线上的一个网站运行了一段时间,应领导要求,将其访问方式更改为https加密方式.更改为https后,网站访问正常,但网站注册功能不能正常使用了! 经过排查,是nginx配置里结合php部分漏洞了一个参数(fastcgi_param  HTTPS )导致,添加上这个参数后,问题迎刃而解!nginx支持https的配置时,需要在php区域配置中添加FastCGI服务,否则https不支持php文件. location ~ \.php$ { root /var/www/vhosts/fff/main;…

前段时间,我曾提到百度支持移动端HTTPS SSL加密搜索,用以保护用户隐私.最近,百度开始支持PC端HTTPS SSL加密搜索,现在可以启用 https://www.baidu.com 搜索.我很少对百度有好感,但仍要实事求是地说:这是百度值得夸赞的一个举动. 不过,有墙外媒体说:百度启用加密搜索“意义不大”,某活动人士甚至说: “百度采用SSL搜索加密其实没有意义,几乎没有人有这样的需求,百度上也没有什么特别的信息——‘不良’或‘违法’的信息——可以搜索.” 这样的说法明显片面甚至带着有色眼…

author:JevonWei 版权声明:原创作品 在httpd安装完成的基础上实现https加密 安装mod_ssl软件包 yum -y install mod_ssl http -M 显示mod_ssl模块已加载 service httpd restart CA服务端搭建CA证书 openssl配置文件/etc/pki/tls/openssl.cnf /etc/pki/tls/openssl.cnf CA相关文件都在/etc/pki/CA/目录下 /etc/pki/CA/cert 存放发布证…

0.前言 前一阵子想写一个HTTPS的嗅探工具,之前只是大致了解SSL/TLS协议的加密流程,真正上起手来一步一步分析发现还是有点复杂的,于是我参考了wireshark的源码以及各种RFC,弄清楚了SSL/TLS从证书传递到密钥交换,再到数据传输的具体过程,算是小有收获,在这里分享给大家. 因为我想结合一个具体的简单的例子来做分析,所以本篇文章先介绍如何简单搭建一个环境来帮助我们下一步的分析,因此不打算亲自动手实践的朋友可以跳过直接进入下一篇,当然本篇文章还是有些小知识点的. 1.前期准备 1.…

转自:[漫画]https 加密那点事 首先,HTTP协议的缺点:没有对数据进行加密,都是明文传输的.如果要改进这种明文传输的协议,该如何做呢? 对称加密: 在每次发送真实数据之前,服务器先生成一把密钥,然后先把密钥传输给客户端.之后服务器给客户端发送真实数据的时候,会用这把密钥对数据进行加密,客户端收到加密数据之后,用刚才收到的密钥进行解密.如图: 当然,如果客户端要给服务器发送数据,也是采用这把密钥来加密,这里为了方便,我采用单方向传输的形式 但这样做的话有一个问题,万一密钥在传输的过程中被别…

理论忽略:百度上很多 需求:自建证书并实现域名的https加密 部署: 在linux机器上执行以下命令生成私钥 mkdir -p /opt/ssl-cert cd  /opt/ssl-cert 1.#openssl genrsa -out server.key 2048 在linux机器上执行以下命令生成csr文件 2.#openssl req -new -key server.key -out certreq.csr 以下黑色标识文字仅供参考,请根据商户自己实际情况进行填写 Country N…

因为我用的是恒创的香港服务器 虽然价格相较于大促的阿里云贵一些,但是有一个有点不用备案... 安装步骤: 1.登录云主机控制面板, 在 其他管理 中找到并进入 SSL证书 设置. 注意:如拥有多个域名,须从 主域名 进入面板和SSL管理界面,否则将弹出“无法执行请求”的错误提示. 2.在页面顶部,点击“设置”. 勾选“SSL加密”选项,开启 SSL 加密服务,使主机允许安装 SSL 证书. 3.状态变为“当前域名允许使用 SSL”后,再点击顶部“设置”按钮 .在 private_html 设置项…

原文地址:https://ainyi.com/44 HTTP:是互联网上应用最为广泛的一种网络协议,是一个客户端和服务器端请求和应答的标准(TCP),用于从WWW服务器传输超文本到本地浏览器的传输协议,它可以使浏览器更加高效,使网络传输减少 http协议属于明文传输协议,交互过程以及数据传输都没有进行加密,通信双方也没有进行任何认证,通信过程非常容易遭遇劫持.监听.篡改,严重情况下,会造成恶意的流量劫持等问题,甚至造成个人隐私泄露(比如银行卡卡号和密码泄露)等严重的安全问题 https:是以安全…