有人叫new IO 我这里就叫Non-block IO 经典概念: Buffer(缓冲区):之前直接通过流,现在提供一个buffer存放数据. Channel:管道,包括ServerSocketChannel和SocketChannel Selecor(选择器.多路复用器):SocketChannel注册到选择器上,轮询selector上的所有socketChannel ,根据通道的状态来执行相关操作.通道有链接状态.阻塞状态.可读状态.可写状态(Connect.Accept.Read.Writ…

一.概述 disruptor对于处理并发任务很擅长,曾有人测过,一个线程里1s内可以处理六百万个订单,性能相当感人. 这个框架的结构大概是:数据生产端 --> 缓存 --> 消费端 缓存中的数据是主动发给消费端的,而不是像一般的生产者消费者模式那样,消费端去缓存中取数据. 可以将disruptor理解为,基于事件驱动的高效队列.轻量级的JMS disruptor学习网站:http://ifeve.com/disruptor-getting-started 二.开发流程 1.建Event类(数据…

前记:redis哨兵经验之谈.哨兵做主从切换可能要花费一两秒,这一两秒可能会丢失很多数据.解决方法之一是在java代码中做控制,try catch 到 链接断开的异常就sleep 一两秒钟再continue一下,重新执行一下try中的代码:另一种解决方法就是keepalive.所以说redis 3.0 之前的版本不太好用,我们应该把重点放到redis 3.0以后的版本 ,这一版本支持集群操作. 在redis3.0以前,提供了Sentinel工具来监控各Master状态,如果master异常,则会…

概述 保持客户端与服务器端连接的方案常用的有3种 1.长连接,也就是客户端与服务器端一直保持连接,适用于客户端比较少的情况. 2.定时段连接,比如在某一天的凌晨建立连接,适用于对实时性要求不高的情况. 3.设置连接超时,比如超过1分钟没有传输数据就断开连接,等下次需要的时候再建立连接,这种方案比较常用. netty的ReadTimeOut实现方案3 服务端 大部分代码都保持不变,有变化的代码在第30行,设置服务端的超时时间 import io.netty.bootstrap.ServerBoot…

背景 作为网络传输框架,免不了哟啊传输对象,对象在传输之前就要序列化,这个序列化的过程就是编码过程.接收到编码后的数据就需要解码,还原传输的数据. 代码 工厂类 import io.netty.handler.codec.marshalling.DefaultMarshallerProvider; import io.netty.handler.codec.marshalling.DefaultUnmarshallerProvider; import io.netty.handler.codec…

问题描述 比如要发ABC DEFG HIJK 这一串数据,其中ABC是一个包,DEFG是一个包,HIJK是一个包.由于TCP是基于流发送的,所以有可能出现ABCD EFGH 这种情况,那么ABC和D就粘包了,DEFG被拆开了. 解决方案 1.消息定长,例如报文大小控制为200,如果不够就空位补全 2.在包结尾加特殊字符进行分割,如$_ 3.消息分为消息头和消息体,在消息中包含消息长度等字段,然后进行消息逻辑处理. 分隔符方案 服务端 import java.nio.ByteBuffer; imp…

一.Netty初步 为什么选择Netty? 和NIO比较,要实现一个通信要简单得很多,性能很好.分布式消息中间件.storm.Dubble都是使用Netty作为底层通信. Netty5.0要求jdk1.6以上. http://netty.io 二.编码步骤 创建两个Nio线程组,一个事件处理,一个网络读写通信 创建一个ServerBootStrap,配置Netty参数: 创建实际处理的ChannelInitializer,进行初始化的准备工作,比如设置接收传出的字符集,格式,已经实际处理数据接口…

入口: import java.nio.ByteBuffer; import java.util.UUID; import java.util.concurrent.CountDownLatch; import java.util.concurrent.Executors; import com.lmax.disruptor.EventFactory; import com.lmax.disruptor.ExceptionHandler; import com.lmax.disruptor.Ri…

ReentrantLock 有嗅探锁定和多路分支等功能,其实就是synchronized,wait,notify的升级. this锁定当前对象不方便,于是就有了用new Object()来作为锁的解决方案,后面jdk干脆就提供了一个Lock类. 伪代码: Lock lock = new ReentrantLock();//新建一个lock Condition condition = lock.newCondition();//获取条件 method1(){ try{ lock.lock(); 代…

java.util.concurrent.CyclicBarrier 一组线程共同等待,直到达到一个公共屏障点. 举个栗子,百米赛跑中,所有运动员都要等其他运动员都准备好后才能一起跑(假如没有发令员). import java.io.IOException; import java.util.Random; import java.util.concurrent.BrokenBarrierException; import java.util.concurrent.CyclicBarrier;…

常用方法 Executors.newFiexdPool(int nThreads);固定线程数量的线程池: Executors.newSingleThreadExecutor();单个线程的线程池: Executors.newCachedThreadPool();根据实际情况调整线程个数的线程池:每个线程空闲时间60s,过时自动回收: Executors.newScheduleThreadPool();固定数量线程池,每个线程都可显现定时器. 以上几个线程池都是由ThreadPoolExecut…

master-worker模式是一种并行计算模式,分为master进程和worker进程两个部分,master是担任总管角色,worker才是执行具体任务的地方. 总体流程应该是这样的: 具体一点,代码实现流程应该是这样的: client: import java.util.Random; public class Main { public static void main(String[] args) { Master master = new Master(new Worker(), 20…

什么是future模式呢?解释这个概念之前我们先来了解一个场景吧,财务系统的结账功能,这个功能可能是每个月用一次,在这一个月中相关的数据量已经积累得非常大,这一个功能需要调用好几个存储过程来完成.假如要调用5个存储过程,每个存储过程要执行5分钟左右,那么这5个加起来就要25分钟.现在用户要求优化,把结账功能的时间控制在10分钟之内,那么该怎么做呢?解决方案就是将5个存储过程按照业务划分成几个组,这几个组并行执行.其实也就类似ajax的异步请求,主线程可以做其他的事情,耗时的业务让子线程去完成,子…

一.ConcurrentLinkedQueue 是一个适合在高并发场景下,无锁,无界的,先进先出原则.不允许为null值,add().offer()加入元素,这两个方法没区别:pull().peek()取头元素节点,pull会删除,peek不会. 二.ArrayBlockingQueue 基于数组的阻塞队列.有缓冲.定长.没有实现读写分离.有界队列 三.LinkedBlockingQueue 基于链表的阻塞队列.有缓冲.读写分离锁(从而实现生产者和消费者操作的完全并行运行).无解队列 四.Syn…

一.ThreadLocal 使用wait/notify方式实现的线程安全,性能将受到很大影响.解决方案是用空间换时间,不用锁也能实现线程安全. 来看一个小例子,在线程内的set.get就是threadLocal public class ConnThreadLocal { public static ThreadLocal<String> th = new ThreadLocal<String>(); public void setTh(String value){ th.set(…

volatile修饰的变量可在多个线程间可见. 如下代码,在子线程运行期间主线程修改属性值并不对子线程产生影响,原因是子线程有自己独立的内存空间,其中有主内存中的变量副本. public class RunThread extends Thread{ private volatile boolean isRunning = true; private void setRunning(boolean isRunning){ this.isRunning = isRunning; } public…

一.synchronized有锁重入的特点,某个线程得到对象的锁后,再次请求此对象可以再次得到改对象的锁.如下示例,在method1中调用method2,在method2中调用method3,而method1.method2和method3都是加了synchronized关键字的. /** * synchronized的重入 * @author alienware * */ public class SyncDubbo1 { public synchronized void method1(){…

一.HelloWord.sh echo 表示打印,可以在sh文件中写诸如pwd.ls 这样的命令,使用命令的时候尽量使用全路径. #!/bin/sh #this is my first sh echo "this is my first sh" /bin/pwd echo echo "this is files" /bin/ls 二.Shell应用实例 如果我们想使用Shell脚步,指定个计划任务,比如像每周的周一到周五给管理员发一个消息(比如氮气主机的信息,如内存…

---恢复内容开始--- redis是一个支持持久化的内存数据库,也就是搜redis需要经常将内存中的数据同步到硬盘来保证持久化.redis持久化有两种方式. snapshotting(快照)默认方式,将内存中的数据以快照方式写入二进制文件中,默认为dump.rdb,可以通过配置设置自动做快照持久化的方式.我们可以配置redis在n秒内如果超过m个key则修改或自动做快照. snapshotting设置: save 900 1 #900秒内如果超过1个key被修改则发起快照保存 save 300…

Redis哨兵 有了主从复制,如果我想想对主从服务器进行监控,在redis2.6后提供了哨兵机制,2.6有哨兵1.0版本,并不稳定.2.8以后的哨兵功能才稳定起来. 顾名思义,哨兵就是监控Redis系统的运行状况,其主要功能有两点: 监控主数据库和从数据库是否正常运行 主数据库出现故障时,可以自动将从数据转换为主数据,实现自动切换 实现步骤: 在其中一台从服务器配置sentinel.conf copy文件sentinel.conf文件到/usr/local/redis/etc/中 修改senti…

Redis高级命令及特性 keys * 返回满足的所有键值(*表示模糊匹配) exists 是否存在指定的key(返回1表示存在,0表示不存在) expire 设置某个key的过期时间,使用ttl查看剩余时间(参数单位是秒,返回-2表示已过期,返回-1表示没有设置过期时间) perisist 取消过期时间 select 选择数据库 数据库为0到15(一共16个数据库)默认进入的是0数据库 move [key] [数据库下标] 将当前数据中的key转移到其他数据库中 randomkey 随机返回数…

String类型 Redis一共分为五种基本数据类型:String.Hash.List.Set.ZSet String类型是包含很多张类型的特殊类型,并且是二进制安全的.比如对序列化的对象进行存储,比如一张图片进行二进制存储,比如一个简单的字符串数值等等. Set和get方法的使用 设置值:set name sgm (多次设置name值,后一次会覆盖前一次) 取值 get name 删除值:del name setnx,nx的意思就是not exists:不覆盖赋值,如上例,如果name存在就不…

Redis的安装 下载地址http://redis.io/download 安装步骤: 首先需要安装gcc,把下载好的redis-3.0.0-rc2.tar.gz 放到 /usr/local 文件夹下 进行解压 tar -zxvf redis-3.0.0-rc.tar.gz 进入到redis-3.0.0目录下,进行编译 make 进入到src下继续安装 make install ,验证(查看src下的目录,有redis-server.redis-cil) 建立两个问价夹存放redis命令和配置文…

主要有从下几点讲解 NOSQL(Redis) 简介.redis安装与部署 Redis基础事件类型详解 Redis高级命令 Redis与java的使用 Redis集群搭建 Redis集群与spring的整合TomcatRedis的Session共享 NOSQL简介 NoSQL,泛指非关系型的数据库,NoSQL数据库主要分为四大类. 键值存储数据库:主要使用哈希表,这个表中有一个特定的键和一个指针指向特定的数据.如Redis,Voldemort,Oracle BDB 类存储数据库:通常用来应对分布式…

vi/vim命令模式插入模式 aio编辑模式 : aio就是vi/vim的插入模式命令    作用a         在光标后附加文本A         在本行末附加文本i         在光标钱插入文本I         在本行开始插入文本o        在光标下插入行O        在光标上插入行 定位命令set number 设置行号(set nu)set nonu 取消行号如果想选择跳转到指定行.直接进入编辑模式,输入行号即可 命令         作用h.方向左键    移动一个…

用户管理配置文件用户信息文件:/etc/passwd密码文件:/etc/shadow用户配置文件:/etc/login.defs /etc/default/useradd新用户信息文件:/etc/skel用户组文件:/etc/group用户组密码文件:/etc/gshadow 用户信息文件:/etc/passwd 对应解释如下: 用户信息文件 字段 含义                     用户名 用户登录系统时使用的用户名 密码 密码位 UID 用户标识码 GID 缺省组标识码 注释性描述…

一.Linux 文件 根据上文Linux 文件说明1.文件的rwx    d开头表示文件夹,    -开头的表示文件,    l开头表示链接文件    r:read,w:write,x:execute    三部分分别表示         文件所有者的权限.所属组的权限.其他人的权限    2.链接数3.所有者4.所属组5.文件大小6.文件的创建或修改时间7.文件的名称 二.文件处理命令 命令:touch语法:touch[文件名]描述:创建一个空文件 命令:mkdir语法:mkdir [-p]…

作用是检测机器的硬件环境 注意在jdk的bin目录下加上sigar的lib目录中的文件 import java.net.InetAddress; import java.net.UnknownHostException; import java.util.Map; import java.util.Properties; import org.hyperic.sigar.Cpu; import org.hyperic.sigar.CpuInfo; import org.hyperic.sigar…

很多时候我们只需要消息中间件这样的功能,那么直需要RinBuffer就可以了. 入口: import java.util.concurrent.Callable; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Future; import com.lmax.disruptor.BatchEventProcessor; i…

前言 Web架构师养成系列共15篇,每周更新一篇,主要分享.探讨目前大前端领域(前端.后端.移动端)企业中正在用的各种成熟的.新的技术.部分文章也会分析一些框架的底层实现,让我们做到知其然知其所以然.本篇文章阅读需要时长:约15分钟 一.ECMAScript 6/7/8简介 ECMAScript 6.0,简称ES6,第一个版本是在2015年6月进行发布,所以也称之为<ECMAScript 2015 标准>(简称 ES2015). JavaScript是ECMAScript的一种实现(分支),遵…