JAVA RPC (四) 之thrift序列化普通对象

先简单写一个thrift文件本地通过thrift编译之后会生成一个java源文件.------编译口令 :thrift -gen java mytestrequest.thrift 编译后的源代码如下: /** * Autogenerated by Thrift Compiler (0.8.0) * * DO NOT EDIT UNLESS YOU ARE SURE THAT YOU KNOW WHAT YOU ARE DOING * @generated */ package com.thr…

JAVA RPC (五) 之thrift序列化RPC消息体

让大家久等了.继续更新thrift序列化的消息体,下面我们一步一步的看一看thrift的rpc是怎么实例化消息体的. 首先我们先准备一个request文件 namespace java bky struct TestRequest{ :i32 code; :string name; :string data; } 一个respone文件 namespace java bky struct TestRespone{ :i32 code; :string message; } 一个service文件…

JAVA RPC (三) 之thrift序列化协议入门杂谈

首先抱歉让大家久等了,最近工作的原因,再加上自己维护koalas rpc利用的大部分时间,一直没腾出空来写这篇文章. 先放出来自研的企业级RPC框架源代码地址,上面有使用方式和部署环境说明,说环境部署,其实只需要傻瓜式的安装一个zookeeper就可以了. 地址:https://gitee.com/a1234567891/koalas-rpc,三分钟一个企业级的RPC框架就诞生了.没有那么多繁杂的API,没有那么多需要踩的坑,拿来即用.完全开源 -------------------------…

Thrift RPC实战(三) thrift序列化揭秘

本文主要讲解Thrift的序列化机制, 看看thrift作为数据交换格式是如何工作的? 1.构造应用场景: 1). 首先我们先来定义下thrift的简单结构. 1 2 3 4 5 namespace java com.yangyang.thrift.api struct Pair { 1: required string key 2: required string value } required修饰符你肯定能猜测到它的意义, 但是你是否有没有这样的疑惑, "1",…

JAVA RPC（二）序列化协议杂谈

序列化和反序列化作为Java里一个较为基础的知识点,大家心里也有那么几句要说的,但我相信很多小伙伴掌握的也就是那么几句而已,如果再深究问一下Java如何实现序列化和反序列化的,就可能不知所措了!遥记当年也被问了这一个问题,自信满满的说了一大堆,什么是序列化.什么是反序列化.什么场景的时候才会用到等,然后面试官说:那你能说一下序列化和反序列化底层是如何实现的吗?一脸懵逼,然后回家等通知! 1.什么是序列化和反序列化 (1)Java序列化是指把Java对象转换为字节序列的过程,而Java反序列化是指…

java提高篇(六)-----使用序列化实现对象的拷贝

我们知道在Java中存在这个接口Cloneable,实现该接口的类都会具备被拷贝的能力,同时拷贝是在内存中进行,在性能方面比我们直接通过new生成对象来的快,特别是在大对象的生成上,使得性能的提升非常明显.然而我们知道拷贝分为深拷贝和浅拷贝之分,但是浅拷贝存在对象属性拷贝不彻底问题.关于深拷贝.浅拷贝的请参考这里:渐析java的浅拷贝和深拷贝一.浅拷贝问题我们先看如下代码: public class Person implements Cloneable{ /** 姓名 **/ privat…

JAVA RPC (六) 之thrift反序列化RPC消息体

我们来看一下服务端的简单实现,直接上thrift代码,很直观的来看一看thrift的server到底干了些什么 public boolean process(TProtocol in, TProtocol out) throws TException { TMessage msg = in.readMessageBegin(); ProcessFunction fn = (ProcessFunction)this.processMap.get(msg.name); if (fn == null)…

菜鸟学Java（四）——JSP内置对象

学习JavaWeb就离不开JSP,而学习JSP又不得不了解它常用的九个内置对象.今天来做一个简单介绍. request Request封装了用户提交的信息,通过调用Request相应的方法可以获取封装的信息,即使用Request可以获取用户提交信息.它是HttpServletRequest类的实例. response 对客户的请求做出动态的响应,向客户端发送数据.response对象包含了响应客户请求的有关信息,但在JSP中很少直接用到它.它是HttpServletResponse类的实例.re…

一起学 Java（四） File、Try 、序列化、MySQL、Socket

一.Java 流(Stream).文件(File)和IO Java.io 包几乎包含了所有操作输入.输出需要的类.所有这些流类代表了输入源和输出目标. Java.io 包中的流支持很多种格式,比如:基本类型.对象.本地化字符集等等. 一个流可以理解为一个数据的序列.输入流表示从一个源读取数据,输出流表示向一个目标写数据. Java 为 I/O 提供了强大的而灵活的支持,使其更广泛地应用到文件传输和网络编程中. Java BufferedReader 类读取控制台输入 Java 的控制台输入由…

java提高篇（五）-----使用序列化实现对象的拷贝

java中四种引用类型（对象的强、软、弱和虚引用）

对象的强.软.弱和虚引用在JDK 1.2以前的版本中,若一个对象不被任何变量引用,那么程序就无法再使用这个对象.也就是说,只有对象处于可触及(reachable)状态,程序才能使用它.从JDK 1.2版本开始,把对象的引用分为4种级别,从而使程序能更加灵活地控制对象的生命周期.这4种级别由高到低依次为:强引用.软引用.弱引用和虚引用. ⑴强引用(StrongReference)强引用是使用最普遍的引用.如果一个对象具有强引用,那垃圾回收器绝不会回收它.当内存空间不足,Java虚拟机宁愿抛出Out…

[Java开发之路]（9）对象序列化与反序列化

1. 对象序列化当你创建对象时.仅仅要你须要.它会一直存在,可是程序终止时,不管何时它都不会继续存在.虽然这样做是很有意义的,可是在某些情况下.假设程序不执行时扔能存在而且保存其信息,那将对我们很实用.这样,在下次程序执行时,该对象将被重建而且拥有的信息与程序上次执行时它所拥有的信息同样. 当然,我们也能够通过将信息写入文件或者数据库,可是假设能将一个对象声明为是"持久性"的,并为我们处理掉全部的细节,这将会显得十分方便. Java的序列化是将那些实现了Serializable接口的…

[改善Java代码] 推荐使用序列化实现对象的拷贝

建议44: 推荐使用序列化实现对象的拷贝上一个建议说了对象的浅拷贝问题,实现Cloneable接口就具备了拷贝能力,那我们来思考这样一个问题:如果一个项目中有大量的对象是通过拷贝生成的,那我们该如何处理?每个类都写一个clone方法,并且还要深拷贝?想想看这是何等巨大的工作量呀,是否有更好的方法呢? 其实,可以通过序列化方式来处理,在内存中通过字节流的拷贝来实现,也就是把母对象写到一个字节流中,再从字节流中将其读出来,这样就可以重建一个新对象了,该新对象与母对象之间不存在引用共享的问题,也就相…

java list序列化json 对象、json数组

list<T> 序列化 json对象 ----------- JSONObject -------JSONObject.toJSONString(str); 解析:JSONObject.parseArray(str,T.class); list<T> 序列化 json数组 ----------- JSONArray -------JSONArray.toJSONString(str); 解析; JSONArray.parseArray…

开源RPC（gRPC/Thrift）框架性能评测

海量互联网业务系统只能依赖分布式架构来解决,而分布式开发的基石则是RPC:本文主要针对两个开源的RPC框架(gRPC. Apache Thrift),以及配合GoLang.C++两个开发语言进行性能对比分析.C++.Thrift都是比较成熟的技术,先简单介绍一下GoLang以及gRPC: GoLang Go语言是由Google开发的一个开源项目,目的之一为了提高开发人员的编程效率. Go语言语法灵活.简洁.清晰.高效.它对的并发特性可以方便地用于多核处理器和网络开发,同时灵活新颖的类型系统…

JAVA RPC（一）RPC入门

为什么要写这个RPC 市面上常见的RPC框架很多,grpc,motan,dubbo等,但是随着越来越多的元素加入,复杂的架构设计等因素似使得这些框架就想spring一样,虽然号称是轻量级,但是用起来却是让我们很蹩脚,大量的配置,繁杂的API设计,其实,我们根本用不上这些东西!!! 我也算得上是在很多个互联网企业厮杀过,见过很多很多的内部RPC框架,有些优秀的设计让我非常赞赏,有一天我突然想着,为什么不对这些设计原型进行聚合归类,自己搞一套[轻量级]RPC框架呢,碍于工作原因,一直没有时间倒腾出空…

关于thrift的一些探索——thrift序列化技术

thrift的IDL,相当于一个钥匙.而thrift传输过程,相当于从两个房间之间的传输数据. 图-1 (因为Thrift采用了C/S模型,不支持双向通信:client只能远程调用server端的RPC接口,但client端则没有RPC供server端调用,这意味着,client端能够主动与server端通信,但server端不能主动与client端通信而只能被动地对client端的请求作出应答.所以把上图-1中的箭头,画为单向箭头更为直观)基于上图,Thrift的IDL文件的作用可以描述为,从…

JAVA RPC (六) 之手把手从零教你写一个生产级RPC之client的代理

首先对于RPC来讲,最主要的无非三点[SERVER IO模型].[序列化协议].[client连接池复用],之前的博客大家应该对thrift有一个大致的了解了,那么我们现在来说一说如何将thrift的序列化和传输使用到生产中.先放一张作者自己写的一个rpc架构图. 分成几个主要部分: 1:server启动zk注册 2:client监听watch节点变动维护本地缓存,构建tcp连接池. 3:通过java aop代理获得接口代理实现,从而通过thrift序列化传输二进制自定义协议的字节流 4:ser…

为什么hadoop中用到的序列化不是java的serilaziable接口去序列化而是使用Writable序列化框架

继上一个模块之后,此次分析的内容是来到了Hadoop IO相关的模块了,IO系统的模块可谓是一个比较大的模块,在Hadoop Common中的io,主要包括2个大的子模块构成,1个是以Writable接口为主的序列化模块,还有1个是解压缩模块,所以打算分成2个模块做分析,今天来说说序列化,反序列化的分析学习,当然不只是简单的wrtite,read等的简单调度.在分析之前,看下IO包的类包含图: 在Hadoop中,你可以用java自带的序列化方式的实现,但是不推荐,因为针对Hadoop系统的分布式…

《Thinking In Java第四版》拾遗

<Thinking In Java第四版>拾遗转自我的github(http://katsurakkkk.github.io/2016/05/Thinking-In-Java%E7%AC%AC%E5%9B%9B%E7%89%88-%E6%8B%BE%E9%81%97) 近日重读了<Thinking In Java第四版>(可能版本比较老),发现一些有趣的和值得注意的地方,在此作个记录. 返回值过载不能用返回值对函数进行overload,因为有可能调用方并不关心返回值,这就造成了…

Thrift序列化与反序列化的实现机制分析

Thrift是如何实现序死化与反序列化的,在IDL文件中,更改IDL文件中的变量序号或者［使用默认序号的情况下,新增变量时,将新增的变量不放在IDL文件的结尾,均会导致Thrift文件的反序列后无法做到向后兼容］,我们只有理解Thrift是如何实现序列化的,才能了解这种现象产生的原因,才能把代码写的更让人放心关于Thrift域的版本号的定义可以在http://thrift.apache.org/static/files/thrift-20070401.pdf这篇文章中找到说定义 Version…

Java 基础 IO流之序列化

一,前言在前面的IO中,我们都是讲数据以字符串的形式保存.能不能将一个数组保存到文件呢,当取出数据时也是一个数组,如果能够实现那就完美了.我们都知道比较通用的有JSON格式的序列化,那java中也有这样的API.那就是JAVA的序列化. 二,Properties集合 2.1 简介 Properties 类表示了一个持久的属性集.Properties 可保存在流中或从流中加载.属性列表中每个键及其对应值都是一个字符串. 特点: 1.Hashtable的子类,map集合中的方法都可以用. 2.该集…

Java的四个标记接口：Serializable、Cloneable、RandomAccess和Remote接口

一.概述标记接口是一些没有属性和方法的接口,也是一种设计思想.Java中的一个标记接口表示的的是一种类的特性,实现了该标记接口的类则具有该特性.如实现了Serializable接口的类,表示这个类的对象是可以进行序列化和反序列化的.Java中常见的标记接口还有Cloneable接口.RandomAccess接口和Remote接口.可以用 if(对象名 instanceof 标记接口名)检测一个类是否实现某个标记接口. 二.四个标记接口的浅析 1.java.io.Serializable标记接口…

Thrift序列化与反序列化

Thrift序列化与反序列化的实现机制分析 Thrift是如何实现序死化与反序列化的,在IDL文件中,更改IDL文件中的变量序号或者［使用默认序号的情况下,新增变量时,将新增的变量不放在IDL文件的结尾,均会导致Thrift文件的反序列后无法做到向后兼容］,我们只有理解Thrift是如何实现序列化的,才能了解这种现象产生的原因,才能把代码写的更让人放心关于Thrift域的版本号的定义可以在http://thrift.apache.org/static/files/thrift-20070401…

java rpc

一.简介 Hessian和Burlap是由Caucho Technology提供的基于HTTP协议的轻量级远程服务解决方案.他们都致力于借助尽可能简单那的API和通信协议来简化Web服务. Hession和Burlap就如同一个事物的两面,但是每一个解决方案都服务于略微不同的目的.Hession就像RMI一样,使用二进制尽心客户端和服务端的交互.但与其他二进制远程调用技术(如,RMI)不同的是,它的二进制消息可以移植到其他开发语言中(如,PHP.Python.C++.C#).Burlap是…

Java 基础【03】序列化和反序列化

当两个进程在进行远程通信时,彼此可以发送各种类型的数据.无论是何种类型的数据,都会以二进制序列的形式在网络上传送.发送方需要把这个Java对象转换为字节序列,才能在网络上传送:接收方则需要把字节序列再恢复为Java对象. 把Java对象转换为字节序列的过程称为对象的序列化. 把字节序列恢复为Java对象的过程称为对象的反序列化. 对象的序列化主要有两种用途: 1) 把对象的字节序列永久地保存到硬盘上,通常存放在一个文件中: 2) 在网络上传送对象的字节序列. 一． JDK类库中的序列化API j…