公司的一些项目采用了netty框架,为了加速适应公司开发,本博主认真学习netty框架,前一段时间主要看了看书,发现编程这东西,不上手还是觉得差点什么,于是为了加深理解,深入学习,本博主还是决定多动手,一方面记录一些总结性的思考性东西,另一方面也为日后复习查看留下一些东西. 那么废话少说,现在开始,首先在进入netty学习之前,我们是要认识一下IO并引出NIO的概念. 与IO相关的几种编程及特点分为: 编程类别 特点 传统BIO编程 典型的一请求一应答模型,一个请求新建一个线程,应答完成线程销毁…

经过前面的铺垫,在这一节我们进入NIO编程,NIO弥补了原来同步阻塞IO的不足,他提供了高速的.面向块的I/O,NIO中加入的Buffer缓冲区,体现了与原I/O的一个重要区别.在面向流的I/O中,可以将数据直接写入或者将数据直接读到Stream对象中.下面看一些概念 Buffer缓冲区 而在NIO中,所有数据都是用缓冲区处理的,在读取数据时,直接读到缓冲区,在写数据时,也是写到缓冲区,任何时候访问NIO中的数据,都是通过缓冲区进行操作.最常用的是个ByteBuffer缓冲区,他提供了一组功能用…

NIO2.0引入了新的异步通道的概念,并提供了异步文件通道和异步套接字通道的实现.异步通道提供以下两种方式获取操作结果. 1.通过java.util.concurrent.Future 类来表示异步操作的结果: 2.在执行异步操作的时候传入一个java.io.channels. ComplementHandler接口的实现类作为操作完成的回调. NIO2.0的异步套接字通道是真正的异步非阻塞I/O,它不需要通过多路复用器(Selector)对注册的通道进行轮询操作即可实现异步读写,从而简化了NI…

在上一节我们介绍了四种IO相关编程的各个特点,并通过代码进行复习了传统的网络编程代码,伪异步主要是引用了线程池,对BIO中服务端进行了相应的改造优化,线程池的引入,使得我们在应对大量客户端请求的时候不会导致虚拟机可贵的线程资源耗尽而宕机,在本小节,我们来看看伪异步代码.多注意引入的线程池代码. 伪异步IO模型图如下(): 当有新的客户端请求到来时,将socket封装成一个Task(该任务实现了Runnable接口),投递到线程池中进行处理.而线程池始终维护一个消息队列和N个活跃着的线程,这些线程…

经过了前面的NIO基础知识准备,我们已经对NIO有了较大了解,现在就进入netty的实际应用中来看看吧.重点体会整个过程. 按照权威指南写程序的过程中,发现一些问题:当我们在定义handler继承ChannelHanderAdapter时候,发现在其接口中没有可以实现的channelRead方法和channelReadComplete方法,然后查阅官网才发现netty5.0不见了,网上说是舍弃了,然后再看官网的一些例子,发现官网上继承的是ChannelInboundHandlerAdapter,…

编解码技术主要应用在网络传输中,将对象比如BOJO进行编解码以利于网络中进行传输.平常我们也会将编解码说成是序列化/反序列化 定义:当进行远程跨进程服务调用时,需要把被传输的java对象编码为字节数组或者ByteBuffer对象.而当远程服务读取到ByteBuffer对象或者字节数组时,需要将其解码为发送时的java对象.这被称为java对象编解码技术.比如java的序列化. 但是,java的序列化有一定的弊端: java序列化是java私有的协议,其他语言不支持,故而不能实现跨语言: 其次,序…

JBoss Marshalling 是一个java序列化包,对JDK默认的序列化框架进行了优化,但又保持跟java.io.Serializable接口的兼容,同时增加了一些可调参数和附加特性,这些参数和特性可以通过工厂类进行配置. 一.开发环境准备 要用到JBoss Marsharlling编解码就需要相应的jar包,这里我们需要引入其api和序列化类库. 首先在maven仓库中查找竟然没找到,只好官网下载了http://jbossmarshalling.jboss.org/downloads…

TCP以流的方式进行数据传输,上层应用协议为了对消息进行区分,通常采用以下4中方式: 消息长度固定,累计读取到长度综合为定长LEN的报文后,就认为读取到了一个完整的消息,将计数器置位,重新开始读取下一个数据报: 将回车换行符作为消息结束符,例如FTP协议,这种方式在文本协议中应用比较广泛: 将特殊的分隔符作为消息的结束标志,回车换行符就是一种特殊的分隔符: 通过在消息头中定义长度字段来标识消息的总长度. DelimiterBaseFrameDecoder——分隔符解码器,FixedLengthF…

TCP是个流协议,流没有一定界限.TCP底层不了解业务,他会根据TCP缓冲区的实际情况进行包划分,在业务上,一个业务完整的包,可能会被TCP底层拆分为多个包进行发送,也可能多个小包组合成一个大的数据包进行发送,这就是TCP的拆包和粘包. 产生问题的原因 应用程序write写入的字节大小大于套接字缓冲区大小 进行MSS大小的TCP分割: 以太网帧的payload大于MTU进行IP分片 关于MSS和MTU的分段问题可以参考https://www.cnblogs.com/yuyutianxia/p/8…

首先我们来看一下protobuf的优点: 谷歌长期使用成熟度高: 跨语言支持多种语言如:C++,java,Python: 编码后消息更小,更利于存储传输: 编解码性能高: 支持不同协议版本的兼容性: 支持定义可选和必选字段: 接下来就让我们试用一下吧. 一.Protobuf开发环境搭建 下载Protobuf的Windows版本,本博主用的是protoc-3.6.1-win32.zip,解压后进入bin目录可以看到protoc.exe(下面的.proto文件是博主事先拉进来的) 然后我们打开cmd…

发生了粘包,我们需要将其清晰的进行拆包处理,这里采用LineBasedFrameDecoder来解决 LineBasedFrameDecoder的工作原理是它依次遍历ByteBuf中的可读字节,判断看是否有“\n”或“\r\n”,如果有,就以此为结束位置,从可读索引到结束位置区间的字节就组成一行,它是以换行为结束标志的编码器,支持携带结束符或者不携带结束符两种方式,同时支持配置单行最大长度,如果连续读取到的最大长度后仍没有发现换行符,就会抛出异常,同时忽略掉之前读到的异常码流. StringDe…

目录 HTTP权威指南-学习笔记 HTTP: Web的基础 URL与资源 HTTP报文 连接管理 HTTP结构 Web服务器 代理 缓存 集成点: 网关,隧道及中继 Web机器人 识别,认证与安全 客户端识别与cookie机制 基本认证机制 安全HTTP 内容发布与分发 Web主机托管 [] HTTP权威指南-学习笔记 HTTP (Hypertext Transfer Protocol, 超文本传输协议) 运行实例 HTTP: Web的基础 Web客户端和服务器: Web内容都是存储在服务器上的…

本文所有教程及源码.软件仅为技术研究.不涉及计算机信息系统功能的删除.修改.增加.干扰,更不会影响计算机信息系统的正常运行.不得将代码用于非法用途,如侵立删! ## JavaScript 权威指南-学习笔记 JavaScript是一门高级.动态.解释型变成语言,非常适合面向对象和函数式编程风格. JavaScript的变量是无类型的. JavaScript和Java除了表面语法大致相似,它与Java是完全不同的两门变成语言. Hello World Node:交互式模式输出Hello World…

题外话:HTML是一种结构化语言,而CSS是它的补充:这是一种样式语言.CSS是前端三板斧之一,因此学习CSS很重要.而我还是菜鸟,所以需要加强学习CSS.这个是我学习CSS权威指南的笔记,如有不对,请谅解和指出.谢谢大家.正文: 第一章 CSS和文档---------- 1.CSS,称为层叠样式表.使用CSS的理由有:a.易于使用,样式表能大大减少Web创作人员的工作量:b.在多个页面上使用样式,可以创建一个样式表,然后把这个样式表应用到多个页面:c.层叠,CSS还规定了冲突规则:这些规则统称…

MapReduce简单介绍 声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考,有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.net/my_acm 上一篇介绍了什么是Hadoop.Hadoop的作用等.本篇相同基于Hadoop权威指南,结合迪伦的Hadoop的视频教程对MapReduce做一个介绍. 1. MapReduce是Hadoop的核心之中的一个.MapReduce分为两个部分,Mapper和Ruducer模块.简单…

Hadoop简单介绍 声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考,有什么不到之处还望指出.一起学习一起进步. 转载请注明:http://blog.csdn.net/my_acm 1. 数据的增长远远超过了磁盘的读取速度.传统的数据存储方式和分析方式变得不再适用于大数据的处理. Hadoop分为两大核心技术.HDFS(HadoopDistributed File System-分布式hadoop文件处理系统)和MapReduce(分为Map-数据映射等,Redu…

HDFS简单介绍 声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考.有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.net/my_acm Hadoop说白了就是一个提供了处理分析大数据的文件集群,当中最重要的无疑是HDFS(Hadoop Distributed File System)即Hadoop分布式文件系统. 1. HDFS是一种以流式数据訪问模式(一次写入多次读取的模式)存储超大文件的系统. 其不须要的高端的硬件系统…

一直不懂逆向,最近刚好不忙,于是学习逆向,用来做笔记,顺便和大家分享交流. 参考书籍<IAD PRO权威指南> 工具: PETools: ETools 是另一款很好的PE文件编辑工具,以前曾发过 v1.5.400.2003 的汉化版,今天也来更新一下:).PEditor 功能有转存进程.检测可执行文件加壳类型.在SoftICE中插入中断.编辑PE文件的导入表.节表.重建校验和.重建程序等,其自带了一个签名管理程序可自己添加更多的壳类型来让 PETools 识别.PETools 可支持插件,并带…

转载:http://blog.csdn.net/clarkkentyang/article/details/52529785 第一章(略) 第二章 NIO入门 2.1传统的BIO编程(同步阻塞I/O服务端通信模型[一客户一线程]) 网络编程的基本模型:Client/Server模型,也就是2个进程之间进行相互通信,其中服务端提供位置信息(绑定的IP地址和监听端口),客户端通过连接操作向服务端监听的地址发起连接请求,通过三次握手建立连接,如果连接建立成功,双方就可以通过网络套接字(Socket)进…

第1章 Java的I/O演进之路 1.1 Linux网络I/O模型 fd:file descriptor,文件描述符.linux内核将所有外部设备都看作一个文件来操作,对文件的读写会调用内核提供的命令,返回一个文件描述符.对一个socket的读写也会有相应的socket fd.描述符就是一个指向内核中结构体的数字. Unix I/O模型分为5类: ①阻塞IO模型 文件操作的默认模型.进程空间调用recvfrom函数,直到数据包到达且被复制到应用进程的缓冲区中或者发生错误时才返回,在此期间,进程会…

1,选择器:选择器的一些基本常用规则基本都记得,w3c上都有,平时也常用,不常用的一些后代选择器经常就忘记了.一些归纳一下后代选择器,加深一下印象: a:子选择器:   p>a  a是直接是p的儿子,而不是孙子曾孙子.就是儿子,只有一代关系. b:相邻兄弟选择器: h1 +p h1 和 p 必须拥有相同的父元素.他们是同胞.样式作用在 p 上面.(与h1相邻的p元素). 2,伪类和为元素 a : 平时也市场在用,尤其是a连接的几个伪类.伪类的顺序非常的重要:link-visited-focus-…

1. 简介 Archetype插件通过 pom.xml 文件创建了一个项目.这就是项目对象模型 (POM),一个项目的声明性描述. 当Maven运行一个目标的时候,每个目标都会访问定 义在项目POM里的信息. 这个POM文件在maven1中是project.xml,在maven2时改为pom.xml. <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a…

目标: 对构建生命周期 (build  lifecycle),Maven仓库 (repositories),依赖管理 (dependency management)和项目对象模型 (Project Object Model)有一个基本的理解 目前不准备深入学习maven故此使用工具ideaj 来帮助学习, 用idea创建一个默认的maven工程,结构如下: 使用idea自带的工具运行maven命令的时候可能会遇到异常: -Dmaven.multiModuleProjectDirectory sy…

maven是什么?有什么用? Maven是一个项目管理工具,它包含了     一个项目对象模型 (Project Object Model),     一组标准集合,     一个项目生命周期(ProjectLifecycle),     一个依赖管理系统(Dependency Management System),     用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑. 当你使用Maven的时候,你用一个明确定义的项目对象模型来描述你的项目,然后 Mav…

这两天主要翻看了书中的第18-22章,重点看了第17章:事件化处理,其它几章节主要是翻了下书知道有相关的概念,没有真正理解其中的内容,或者没有考虑究竟如何能把里面的内容应用到实际的项目中.说的讽刺一点自己就是为了看书而看书没有真正有效率的投入,来仔细思考到底从中看了哪些东西. 第17章:脚本化HTTP:标题让人很费解,其实主要是讲ajax.script跨越通信,基于服务器端推送事件的Comet技术,主要是讲浏览器与Web服务器端交互.虽然没有具体的实例,但感觉讲的很全面和细致. 第19章讲jqu…

1. 简介 Archetype插件通过 pom.xml 文件创建了一个项目.这就是项目对象模型 (POM),一个项目的声明性描述. 当Maven运行一个目标的时候,每个目标都会访问定 义在项目POM里的信息. 这个POM文件在maven1中是project.xml,在maven2时改为pom.xml. <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a…

目标: 对构建生命周期 (build  lifecycle),Maven仓库 (repositories),依赖管理 (dependency management)和项目对象模型 (Project Object Model)有一个基本的理解 目前不准备深入学习maven故此使用工具ideaj 来帮助学习, 用idea创建一个默认的maven工程,结构如下: 使用idea自带的工具运行maven命令的时候可能会遇到异常: -Dmaven.multiModuleProjectDirectory sy…

maven是什么?有什么用? Maven是一个项目管理工具,它包含了 一个项目对象模型 (Project Object Model), 一组标准集合, 一个项目生命周期(ProjectLifecycle), 一个依赖管理系统(Dependency Management System), 用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑. 当你使用Maven的时候,你用一个明确定义的项目对象模型来描述你的项目,然后 Maven 可以应用横切的逻辑,这些逻辑来自一…

转自:http://pieux.github.io/blog/2013-05-08-learn-hadoop-the-definitive-guide.html 1 前言 Hadoop的内部工作机制: 分布式系统理论, 实际工程和常识于一体的系统. 但是,Hadoop提供的用于构建分布式系统的工具–数据存储, 数据分析,和协调处理–都非常简单. 本书的结构: 1章介绍历史, 2章介绍MapReduce,3章剖析Hadoop文件系统, 特别是HDFS,4章包含Hadoop的基本I/O操作:数据完整…

//mongoDB第1-3章节添加,修改,修改器的笔记: //备注:和MySQL查询一样,时刻想着优化查询数据的时间和性能 //db.help() //数据库帮助信息 //db.blog.help() //集合帮助信息 //db.c.find().help() //返回find()方法的子方法信息 //清空集合数据 //db.blog.remove() //插入信息 //db.blog.insert({'title' : 'bbbbb', 'content' : 'bfbfbf', 'hits'…