HTTP请求: 1.HTTP请求主要分为"Get"和"Post"两种方法. 2.当我们在浏览器输入URL http://www.baidu.com 的时候, 浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件 服务器把Response文件对象发送回给浏览器. URL详解: URL是Uniform Resource Locator的简写,统一资源定位符. 一个URL由以下几部分组成: scheme://host:port/…

爬虫的规定 Robots协议 网站开发者对于网络爬虫的规范的公告,你可以不遵守可能存在法律风险,但尽量去遵守 Robots协议:在网页的根目录+robots.txt Robots协议的基本语法: #注释,*代表所有,/代表根目录 User-agent:* #user-agent代表来源 Allow:/ #代表运行爬取的内容 Disallow:/ #代表不可爬取的目录,如果是/后面没有写内容,便是其对应的访问者不可爬取所有内容 并不是所有网站都有Robots协议 如果一个网站不提供Robots协议…

爬虫前篇 /https协议原理剖析 目录 爬虫前篇 /https协议原理剖析 1. http协议是不安全的 2. 使用对称秘钥进行数据加密 3. 动态对称秘钥和非对称秘钥 4. CA证书的应用 5. 总结 https是基于http和SSL/TLS实现的一个协议,他可以保证在网络上传输的数据都是加密的,从而保证数据安全. 接下来我们从http协议开始,提出想法并逐步进行分析,最终实现Https. 1. http协议是不安全的 在https诞生之前,所有网站都使用http协议,而http协议在数据传…

目前在广州一家小公司实习,这里的学习环境还是挺好的,今天公司从业十几年的大佬让我检查一下几年前的爬虫程序是否还能使用…… 我从myeclipse上check out了大佬的程序,放到workspace中开始试探…… 第一个错误出现了:握手失败,https三次握手机制是我遇到的第一个问题…… 大佬似乎发现了我的问题,于是过来指导,“你先这样,再这样,就可以了”…… 惊慌的我赶快点头,“嗯嗯……” 于是按照大佬的指点,首先在对应的jdk目录下添加文件…… 对应文件我放在百度上了,链接是:链接: ht…

html的宗旨:      <标签 属性=”属性的值“></标签>        只是对于文本的一种解释划分吧 dom的宗旨:      就是一个大数组,处理方便,效率低 xml                      <node attr=value>...</node>          html是它的子集,树结构    主要注意节点关系 json                      类似xml,对JavaScript友好 mysql     …

http协议和https协议: HTTP协议:HyperText Transfer Protocol,超文本传输协议,是一种发布和接收HTML页面的方法.服务器端口号是80. HTTPS协议:是HTTP协议的加密版本,在HTTP下加入了SSL层.服务器端口号是443.   url详解: URL是Uniform Resource Locator的简写,统一资源定位符. 一个URL由以下几部分组成: scheme://host:port/path/?query-string=xxx#anchor s…

1Robots协议 Robots协议告诉了搜索引擎和爬虫那些页面可以抓取,那些不可以,通常是存放在robots.txt文件里面,位于网站的根目录下 robots.txt中内容的示范: User-agent:* //表示了搜索爬虫的名称,*表示对任何爬虫都有效 Disallow:/ //表示了不允许抓取的目录,/表示不允许抓取所有目录,没有写就代表允许抓取所有的目录 Allow:/public/ //表示在排除Disallow中,可以抓取的目录 2robotparse robotparse就是用来…

一.HTTP协议 1.官方概念: HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议.(虽然童鞋们将这条概念都看烂了,但是也没办法,毕竟这就是HTTP的权威官方的概念解释,要想彻底理解,请客观目移下侧......) 2.白话概念: HTTP协议就是服务器(Server)和客户端(Client)之间进行数据交互(相互传输数据)的一种形式.我们可以将Server…

Robots协议(也称为爬虫协议.机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取. ____________________________________ Robots协议也称为爬虫协议.爬虫规则.机器人协议,是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息.确保用户个人信息和隐私不被侵犯.“规则”中将搜索引擎抓取网站内容的范围做了约定,包括网站是否希望被搜…

网站的管理者们通常会有这样一种心态:一方面期待百度.Google这样的搜索引擎来抓取网站的内容,另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息.正是因为这样,才有“好爬虫”.“坏爬虫”这样的说法. 提到“好爬虫”,就不得不提网络爬虫与web之间的访问授权协议——Robots协议了. Robots协议的定义Robots协议(也称为爬虫协议.机器人协议等)的全称是“网络爬虫排除标准”(Robots ExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些…