玩转robots协议 -- 其他 -- IT技术博客大学习 -- 共学习 共进步! - Google Chrome (2013/7/14 20:24:07) 玩转robots协议 2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反"Robots协议"抓取.复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年"3B大战"的继续.在此次索赔案件中,百度称自己的Robots文本中已设定不允许360爬虫进入,而360的爬虫依…

有人说过,精通HTTP协议能赢过95%的前端工程师,所以我毅然的踏上这条路,哈哈哈,接下来把自己的学习笔记整理出来. 我会从比较底层的模型开始: 1.网络的五层模型 2.TCP/IP协议 3.HTTP协议 4.端口的作用 5.响应码 6.HTTPS协议 7.资源跨域共享(CORS) 一:网络的五层模型 网络的五层模型如下图: 物理层主要功能:为数据端设备提供传送数据通路.传输数据.数据通路可以是一个物理媒体,也可以是多个物理媒体连接而成,物理层的媒体包括架空明线.平衡电缆.光纤.无线信道等,处于…

Java 笔记整理 包含内容     Unix Java 基础, 数据库(Oracle jdbc Hibernate pl/sql), web, JSP, Struts, Ajax Spring, Ejb, java和模式 Linux/Unix笔记 inode :存储编号(地址) ls -k:查看磁盘分区 ls -li:显示当前文件的inode号. 目录的大小跟文件的大小有关,跟目录里的文件(目录)数量无关. 一行多个命令的话,中间用分号分开.如:pwd;cal;date last | grep…

接触CC2540几天,终于有了初步的理解,现将笔记整理如下,只是皮毛,如有错误,还请指正,还有好多没闹明白的地方,以后应该还会继续向里面更新~ 一.整体 1.TI的蓝牙平台支持2种协议栈/应用配置:单一设备配置.网络处理器配置 2.协议栈最顶层2个通用profile: GAP 通用访问配置文件层 Generic Access Profile GATT 通用属性配置文件层 Generic Attribute Profile 3. GAP:处理设备的接入方式及接入过程:①设备发现 ②链路建立 ③链路…

一.网络爬虫的尺寸 1.以爬取网页,玩转网页为目的进行小规模,数据量小对爬取速度不敏感的可以使用request库实现功能(占90%) 2.以爬取网站或爬取系列网站为目的,比如说获取一个或多个旅游网站的爬虫,对数据要求规模较大,爬取速度敏感的可以使用Scrapy库 3.以爬取全网为目的,规模很大搜索引擎爬取速度关键,需要定制开发 二.网络爬虫带来的问题 总的来说有:骚扰问题,法律风险,隐私泄露 1.爬虫可利用计算机的快速功能访问服务器,它会比人类的速度快到百倍甚至千倍,受限于编写水平和目的,网络爬…

运维开发笔记整理-URL配置 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.URL路由 对于高质量的Web应用来说,使用简洁,优雅的URL的路由是一个非常值得重视的细节.Django让你随心所欲的设计你的URL,不受框架约束. 为了给一个用用设计URL,你需要创建一个Python模块,通常称为URLconf(URL configuration).这个模块是纯粹的Python代码,包含URL模式(简单的正则表达式)到Python函数(你的视图)的简单映射. 二.Django…

运维开发笔记整理-Request对象与HttpResponse对象 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.request对象 1>.什么是request 首先,我们得知道request对象是有django创建的,并不是我们自己创建的,通过url文件监听相应的路径,如果客户端访问有请求到了该路径,就会将参数自动传递到request对象里面,它默认是一个WSGIRequest对象,我们可以通过python的dir方法看到request有那些属性,如下图所示: 2>.…

一.网络爬虫的尺寸 1.以爬取网页,玩转网页为目的进行小规模,数据量小对爬取速度不敏感的可以使用request库实现功能(占90%) 2.以爬取网站或爬取系列网站为目的,比如说获取一个或多个旅游网站的爬虫,对数据要求规模较大,爬取速度敏感的可以使用Scrapy库 3.以爬取全网为目的,规模很大搜索引擎爬取速度关键,需要定制开发 二.网络爬虫带来的问题 总的来说有:骚扰问题,法律风险,隐私泄露 1.爬虫可利用计算机的快速功能访问服务器,它会比人类的速度快到百倍甚至千倍,受限于编写水平和目的,网络爬…

javaweb学习笔记整理补课 * JavaWeb: * 使用Java语言开发基于互联网的项目 * 软件架构: 1. C/S: Client/Server 客户端/服务器端 * 在用户本地有一个客户端程序,在远程有一个服务器端程序 * 如:QQ,迅雷... * 优点: 1. 用户体验好 * 缺点: 1. 开发.安装,部署,维护 麻烦 2. B/S: Browser/Server 浏览器/服务器端 * 只需要一个浏览器,用户通过不同的网址(URL),客户访问不同的服务器端程序 * 优点: 1. 开…

注意 请贡献者查看参与方式,然后直接在 ISSUE 中认领. 翻译/校对三个文档就可以申请当负责人,我们会把你拉进合伙人群.翻译/校对五个文档的贡献者,可以申请实习证明. 请私聊片刻(529815144).咸鱼(1034616238).或飞龙(562826179)来领取以上奖励. 翻译校对活动 可解释的机器学习[校对] 参与方式:https://github.com/apachecn/interpretable-ml-book-zh/blob/master/CONTRIBUTING.md 整体进…