手写MQ框架(二)-服务端实现】的更多相关文章

一.起航 书接上文->手写MQ框架(一)-准备启程 本着从无到有,从有到优的原则,所以计划先通过web实现功能,然后再优化改写为socket的形式. 1.关于技术选型 web框架使用了之前写的gmvc框架(手写MVC框架(一)-再出发),消息存储采用存在数据库的方式,使用的框架也是前段时间写的gdao(手写DAO框架(一)-从“1”开始 ). 2.项目搭建 项目本来是单项目的形式,但是考虑到将服务端.客户端分开不是很友好,所以采用了maven父子模块的形式. 其中,父pom配置如下: <?xm…
一.背景 很久以前写了DAO框架和MVC框架,前段时间又重写了DAO框架-GDAO(手写DAO框架(一)-从“1”开始,源码:https://github.com/shuimutong/gdao.git)和MVC框架-GMVC(手写MVC框架(一)-再出发,源码:https://gitee.com/simpleha/gmvc.git). 之前也尝试过写RPC框架(源码:https://github.com/shuimutong/grpc_beta.git),客户端.服务端的方法调用写完了,但是网…
一.背景 书接手写MQ框架(二)-服务端实现  ,前面介绍了服务端的实现.但是具体使用框架过程中,用户肯定是以客户端的形式跟服务端打交道的.客户端的好坏直接影响了框架使用的便利性. 虽然框架目前是通过web的形式提供功能的,但是某的目标其实是通过socket实现,所以不仅需要有客户端,还要包装一下,让用户在使用过程中不需要关心服务端是如何实现的. 简单来说,就是客户端使用必须方便. 二.客户端实现 1.HttpUtil 目前客户端的核心功能是HttpUtil这个类,使用httpClient实现的…
一.背景 书接上文手写MQ框架(三)-客户端实现,前面通过web的形式实现了mq的服务端和客户端,现在计划使用netty来改造一下.前段时间学习了一下netty的使用(https://www.w3cschool.cn/netty4userguide/52ki1iey.html).大概有一些想法. netty封装了socket的使用,我们通过简单的调用即可构建高性能的网络应用.我计划采用以下例子来对gmq进行改造. 本文主要参考:https://www.w3cschool.cn/netty4use…
Hello,I'm Shendi. 这天心血来潮,决定做一个内网穿透的软件. 用过花生壳等软件的就知道内网穿透是个啥,干嘛用的了. 我们如果有服务器(比如tomcat),实际上我们在电脑上开启了服务器别人是访问不到我们的,除非你有公网ip,目前 IPv4已经几近被占完,所以我们想让别人访问到我们的服务器,使用内网穿透是不错的选择 目录 前言 想法 NAT 开始之前(需要的知识) 制作服务端 设计 编写服务端 启动类 创建接收端 实现TCP协议类 整理思路(用户与客户端之间通信图) 实现协议工具类…
--------上一篇:手写MVC框架(一)-再出发----- 背景 书接上文,之前整理了实现MVC框架需要写哪些东西.这周粗看了一下,感觉也没多少工作量,所以就计划一天时间来完成.周末的时间,哪会那么老实的坐在电脑前写代码呢?看电影的时候应该是老实的.为了不给自己留遗憾,所以今天就接着写了,然后就写完了. 一.主要代码结构 . ├── annotation │ ├── XAutowired.java //用于依赖注入 │ ├── XComponent.java //资源管理 │ ├── XCo…
-------前篇:手写DAO框架(一)-从“1”开始 --------- 前言:前篇主要介绍了写此框架的动机,把主要功能点大致介绍了一下.此篇文章主要介绍开发前最后的一些准备.主要包括一些基础知识点,和模块的拆分. 话说磨刀不误砍材工,知其然,还要只其所以然.因为很久没有学习相关的知识了,为了避免一些明显错误,所以先把相关基础知识了解一下. (因个人水平有限,如有纰漏,还请指出) 基础知识点 一.Statement和PrepareStatement 1.PrepareStatement a.预…
我们从两个方面了解springmvc执行原理,首先我们去熟悉springmvc执行的过程,然后知道原理后通过手写springmvc去深入了解代码中执行过程. (一)SpringMVC流程图 (二)SpringMVC流程 1.  用户发送请求至前端控制器DispatcherServlet. 2.  DispatcherServlet收到请求调用HandlerMapping处理器映射器. 3.  处理器映射器找到具体的处理器(可以根据xml配置.注解进行查找),生成处理器对象及处理器拦截器(如果有则…
续接前文, 手写SpringMVC框架(一)项目搭建 本节我们来开始手写SpringMVC框架的第二阶段:结构开发设计. 新建一个空的springmvc.properties, 里面写我们要扫描的包名,之后这里面我们需要些一些配置信息,比如扫描的包路径等等. scanPackage=com.lagou.edu 在web.xml中配置此文件: <servlet> <servlet-name>lgmvc</servlet-name> <servlet-class>…
背景 前段时间把之前写的DAO框架(手写DAO框架(一)-从“1”开始)整理了一下,重构了一版.整理过程中看以前写的代码,只是为了了解实现,只是为了实现,代码写的有点粗糙.既然已经整理了DAO框架,索性继续整理一下MVC框架(https://github.com/shuimutong/zxmvc.git),所谓温故知新也. 一.关于Servlet 1.简介 学习web的时候,一般都是先学Servlet 通过Servlet可以接受到http请求,并进行响应 这个时候,是不需要struts.Spri…
Angular8正式发布了,Java13再过几个月也要发布了,技术迭代这么快,框架的复杂度越来越大,但是原理是基本不变的.所以沉下心看清代码本质很重要,这次给大家带来的是手写RPC框架. 完整代码以及说明文档,点我跳跃~ 1. 什么是RPC? RPC是指远程过程调用,也就是说两台服务器A,B,一个应用部署在A服务器上,想要调用B服务器上应用提供的函数/方法,由于不在一个内存空间,不能直接调用,需要通过网络来表达调用的语义和传达调用的数据. RPC框架有很多,比较知名的如阿里的Dubbo.goog…
版权声明:本文为博客园博主「水木桶」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明.原文链接:https://www.cnblogs.com/shuimutong/p/11408219.html 背景 手写DAO框架系列前后更新了5篇文章,外加1篇使用示例,GDAO框架至此已经初具雏形,简单的使用不成问题.接下来就是对框架进行不断的优化. 顺便说一下性能 手写DAO框架(六)-后续之框架使用示例 此篇文章对GDAO的性能较少提及,这里就简单的记载一下,后续有机会…
作者:小傅哥 博客:https://bugstack.cn - 原创系列专题文章 沉淀.分享.成长,让自己和他人都能有所收获! 一.前言 同龄人的差距是从什么时候拉开的 同样的幼儿园.同样的小学.一样的书本.一样的课堂,有人学习好.有人学习差.不只是上学,几乎人生处处都是赛道,发令枪响起的时刻,也就把人生的差距拉开.编程开发这条路也是很长很宽,有人跑得快有人跑得慢.那么你是否想起过,这一点点的差距到遥不可及的距离,是从哪一天开始的.摸摸肚子的肉,看看远处的路,别人讲的是故事,你想起的都是事故.…
手写RPC框架(六)整合Netty Netty简介: Netty是一个基于NIO的,提供异步,事件驱动的网络应用工具,具有高性能高可靠性等特点. 使用传统的Socket来进行网络通信,服务端每一个连接都要新建一个线程,清楚处理完成后通过输出流返回给客户端.而Netty通过NIO的方式,服务端实现为一个请求一个线程,客户端发送的连接请求会注册到多路复用器上,多路复用器轮询到连接有I/O请求时才会启动一个线程进行处理. 这次我们通过Netty来实现网络通信,替代Socket,提高框架性能. 引入Ne…
1.测试页面; <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>手写jQuery框架</title> <style type="text/css"> *{margin: 0px;padding: 0px;font-family: "微软雅黑";} .bo…
-------前篇:手写DAO框架(二)-开发前的最后准备--------- 前言 上一篇主要是温习了一下基础知识,然后将整个项目按照模块进行了划分.因为是个人项目,一个人开发,本人采用了自底向上的开发. 本篇会介绍连接层的代码,包括三部分:pom配置.数据库连接和数据库连接池. pom配置 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc…
背景: 很久(4年)之前写了一个DAO框架-zxdata(https://github.com/shuimutong/zxdata),这是我写的第一个框架.因为没有使用文档,我现在如果要用的话,得从头看代码,不是太实用.zxdata没有使用连接池,所以练手意义大于使用意义.最近想重写一个DAO框架,希望能够方便的使用,在性能方面也有好的表现. -----分割------- 工作了这么多年,重写DAO框架,发现框架不太容易写: 首先,使用得简单.不能让使用者仅仅使用一个框架,得先把框架代码看一遍才…
手写SpringMVC框架 细嗅蔷薇 心有猛虎 背景:Spring 想必大家都听说过,可能现在更多流行的是Spring Boot 和Spring Cloud 框架:但是SpringMVC 作为一款实现了MVC 设计模式的web (表现层) 层框架,其高开发效率和高性能也是现在很多公司仍在采用的框架:除此之外,Spring 源码大师级的代码规范和设计思想都十分值得学习:退一步说,Spring Boot 框架底层也有很多Spring 的东西,而且面试的时候还会经常被问到SpringMVC 原理,一般…
续接前文 手写SpringMVC框架(二)结构开发设计 本节我们来开始具体方法的代码实现. doLoadConfig()方法的开发 思路:我们需要将contextConfigLocation路径读取过来的配置文件springmvc.properties加载到内存中来. 实现:使用properties及类加载器. 代码如下: import java.io.InputStream; import java.util.Properties; private Properties properties=…
opencv 手写选择题阅卷 (二)字符识别 选择题基本上只需要识别ABCD和空五个内容,理论上应该识别率比较高的,识别代码参考了网上搜索的代码,因为参考的网址比较多,现在也弄不清是参考何处的代码了,在这里就不一一感谢了. 基本步骤: 一,识别函数接受一般64X64的灰度图像; 二,二值化并反色为黑底白字; 三,找出字符的最小包围矩形,并大小归一化为32X32; 四,计算图像的HOG特征; 五,用SVM分类器对HOG特征进行识别,从而确定当前图像属于ABCD还是空白; 整个识别代码还是比较简单的…
tensorflow笔记(五)之MNIST手写识别系列二 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7455233.html 前言 这篇博客将用tensorflow实现CNN卷积神经网络去训练MNIST数据集,并测试一下MNIST的测试集,算出精确度. 由于这一篇博客需要要有一定的基础,基础部分请看前面的tensorflow笔记,起码MNIST手写识别系列一和CNN初探要看一下,对于已经讲过的东西,不会再仔细复述,可能会…
使用MINA框架搭建服务端步骤: 1.定义一个启动服务的类MinaServer,并实现接口ServletContextListener 2.定义一个处理业务逻辑的类MinaServerHandler,并继承类IoHandlerAdapter 类MinaServer代码例如以下: import java.net.InetSocketAddress; import javax.servlet.ServletContextEvent; import javax.servlet.ServletConte…
-------前篇:手写DAO框架(三)-数据库连接--------- 前言 通过上一篇写的方法,可以灵活的获取.释放数据库连接,拿到连接之后,我们就可以执行sql了!所以,本篇介绍的就是SQL执行器. SQL执行器主要功能就是执行sql,返回结果.如新增.更新.删除.查询,其中也涉及到了事务的开启.关闭.回滚. 这一层的定位是为接下来的DAO层提供底层支持,同时也支持自行编写SQL进行直接调用. 涉及技术 本篇主要涉及技术有:泛型.匿名内部类. 泛型 说到泛型,先简单的对比一下python和j…
在我们的日常工作中,经常会用到Spring.Spring Boot.Spring Cloud.Struts.Mybatis.Hibernate等开源框架,有了这些框架的诞生,平时的开发工作量也是变得越来越轻松,我们用 Spring Boot 分分钟可以新建一个Web项目. 记得自己刚开始工作的时候还是在用Servlet写Web项目,自己写数据库连接池,用原生JDBC操作数据库,好了不发散了.回到这篇文章的主题,今天通过手写Spring框架,帮大家深入了解一下Spring的工作机制,文中涉及的代码…
1.Mybatis组成 动态SQL Config配置 Mapper配置 2.核心源码分析 Configuration源码解析 SqlSessionFactory源码解析 SqlSession源码解析 SqlSessionManager源码解析 3.手写Mybatis框架 Mybatis是什么? Mybatis是一种半自动ORM框架,前身是iBatis,源于“Internet”和“abatis”的组合,除了POJO和映射关系之外,还需要编写SQL语句:   Mybatis映射三要素: POJO 映…
-------前篇:手写DAO框架(四)-SQL执行--------- 前言 通过上一篇,可以通过传入sql和对应的参数,可以执行sql并返回结果.但是对于一个DAO框架来说,要尽量的面向对象编程,也就是要实现ORM功能.所以本篇主要介绍DAO层的实现,主要是实现ORM. 主要涉及技术 反射 反射 Class<T> entityClass = (Class<T>) ((ParameterizedType)this.getClass().getGenericSuperclass())…
利用神经网络算法的C#手写数字识别(二)   本篇主要内容: 让项目编译通过,并能打开图片进行识别.   1. 从上一篇<利用神经网络算法的C#手写数字识别>中的源码地址下载源码与资源, 注意,两者都要下载,资源里有训练数据集. 2. 下载后源码项目用VS打开,第一遍是编译不过的,会提示参数不正确. 将资源中的DATA文件夹考入到编译目录下,如Bin\Debug下, 即可编译通过. 目录如下:   3. 上篇文中所述的打开一个图片并识别的功能在代码中是没有实现的. 本篇我们将在此项目中实现.…
手写AVL平衡二叉搜索树 二叉搜索树的局限性 先说一下什么是二叉搜索树,二叉树每个节点只有两个节点,二叉搜索树的每个左子节点的值小于其父节点的值,每个右子节点的值大于其左子节点的值.如下图: 二叉搜索树,顾名思义,它的搜索效率很高,可以达到O(logn).但这是理想状况下的,即上图所示.实际上,由于插入顺序的原因,形成的二叉搜索树并不会像上图这样"工整",最坏的情况的下,甚至可能会退化成链表了,如下图: 这显然不是我们想要看的结果,那么我们必须要引入一套机制来避免这种事情的发生,也就是…
核心解读 AOP:Aspect Oriented Programming,面向切面编程 核心1:将公共的,通用的,重复的代码单独开发,在需要时反织回去 核心2:面向接口编程,即设置接口类型的变量,传入接口类型的参数,返回接口类型的返回值,调用接口类型的变量自身的实现方法 图示 图示分析:例如,在开发中普遍需要使用到日志输出功能,会将日志输出功能大量耦合到项目的不同位置,如上图左侧所示. 而日志输出功能与其实与项目本身的核心业务逻辑无关,我们只是为了不时的查看项目的运行状态. 则可以将日志功能单独…
一.学习本文你能学到什么? RPC的概念及运作流程 RPC协议及RPC框架的概念 Netty的基本使用 Java序列化及反序列化技术 Zookeeper的基本使用(注册中心) 自定义注解实现特殊业务逻辑 Java的动态代理 自定义Spring Boot Starter 这里只是列出了你能从RPC框架源码中能学到的东西,本文并不会每个知识点都点到,主要讲述如何手写一个RPC框架,更多细节需要读者阅读源码,文章的下方会提供源码链接哦. 二.RPC基础知识 2.1 RPC是什么? Remote Pro…