如果你想看 Tomcat 源码但又无从入手,不妨从这个项目开始,代码量不多,但包含了 Tomcat 的核心处理流程,并且源码中有相当丰富的注释。相信通过此项目你能了解:

  • NIO 基本编程、HTTP 协议的本质、基本的单元测试
  • Tomcat 应用部署、自定义类加载器的实现、Servlet 的管理和加载运行以及静态资源的处理和缓存等
  • Maven 生成可执行 jar,生成 javadoc,使用 assembly 构建项目,使用 release 插件发布到 git等

文末有源码地址。本文就 NIO 模型、HTTP 协议解析、Digester 工具以及Servlet 容器这些核心模块的设计和实现的难点以及重点进行简单介绍。

1. NIO 服务器的实现

由于非阻塞的特性,NIO 的编写相比于 BIO 很复杂,而原生 NIO 编程就更复杂了,关键是处理好通道和处理器的映射,以及各种状态的管理。此模块的名称是 rxtomcat-net,结构如下:

主要实现了以下功能:

  • Acceptor 使用信号量对总连接数进行控制
  • Acceptor 和 Poller 使用队列协作完成新连接通道的注册,因为直接注册可能会造成死锁
  • Poller 既能通知非阻塞读写事件,也能通知模拟阻塞的读写事件
  • Poller 在通知 I/O 事件时,也会模拟 Tomcat 把通道就绪的事件从关注事件集合中移除
  • 利用两个用于读和写的 CountDownLatch 实现模拟阻塞
  • Poller 还对通道处理超时,通道超时或关闭时会移除它对应的 Processor,防止内存泄露
  • 因为是非阻塞,所以当处理中途发现读或写的数据不完整,要再次处理时,需要找到原先的处理器,Handler 内部就是使用 ConcurrentHashMap 保持通道和处理器的映射
  • NioChannel 是对 SocketChannel 的封装,主要包含两个 ByteBuffer 用于读和写以及两个模拟阻塞读和写使用的闭锁,以及提供实际的非阻塞和模拟阻塞读写功能
  • 为了适配不同协议的处理器定义了一个 Processor 接口

EchoProcessor 是实现的一个回显处理器,它包含一个 main 方法,可直接运行进行测试。

有一点需要注意,从通道读取字节到处理请求都是一个线程,只有在非阻塞读取不完整的请求头数据时,才有可能切换线程

2. HTTP 协议的解码和编码

完整的实现 HTTP 协议是很复杂的,这里的实现比较简单,模块的名称是 rxtomcat-http,结构如下:

主要实现了以下功能:

  • 消息行(请求或响应)的解析和构造,解析时采用有限状态机的方法,这是非阻塞编程常用的手段
  • chunked 和 identity 消息体的解析和构造
  • 实现 keepAlive 长连接
  • 特殊 URL 解码,比如 param=%E5%88%9B+a
  • 为容器提供底层 Processor 的回调机制,ActionHook

解析协议麻烦的地方在于处理 TCP 粘包拆包的问题,以及各种缓冲区的清空和重用。在实现时,缓存区大部分使用的是 ByteBuffer。

3. 简单的 Servlet 容器

实现一个简单的 Servlet 容器,模块的名称是 rxtomcat-container,结构如下:

简单起见,只设计了 Context 和 Wrapper 两个容器,主要实现了以下功能:

  • Pipeline 和 Valve 的管道处理模型,以及容器 Lifecycle 生命周期的设计
  • DefaultServlet 静态资源的处理和缓存
  • 根据 web.xml 部署应用,提取 Servlet 和 Filter 及其配置的映射
  • 打破双亲委托的类加载器 Loader,实现从 WEB-INF/classes 和 WEB-INF/lib 加载类,以及 class 文件热加载的功能
  • 实现 Servlet 的三种 URL 路由规则,以及规范中的 Cookie, HttpSession, FilterChain, HttpServletRequest, HttpServletResponse
  • 实现 Session 以及它的管理器 Manager
  • 实现了 ServletInputStream 用于支持文件上传的处理

这部分的实现稍微繁琐,也基本复现了 Tomcat 的处理流程,其中唯一有点绕的就是使用 Lifecycle 实现的观察模式,触发特定的生命周期事件,使用特定的类来配置和初始化 Context。

4. 其他工具

模块 rxtomcat-utils 主要是一些工具类:

  • 简单实现了 Digester XML 解析工具
  • 实现了一个字节数组功能类,主要有字节数组转整形,转十六进制字符串

5. Maven 构建模块

模块 rxtomcat-bootstrap 使用 maven-assembly-plugin 打包发布二进制版本,最终构建生成的项目运行目录结构是:

6. 小结

造轮子确实很费时间,但效果很好。平时写代码,知道原理是什么,但在编写时却无从下手,这就是代码写的少,模仿的少导致的。所以,如果时间充裕,不妨多造造轮子。

  • 本文模拟实现的 Tomcat 源码地址是:「github.com/tonwu/rxtomcat」
  • 使用的版本是 Tomcat 6.0.53,公众号「顿悟源码」后台回复关键字「Tomcat」可获取带有比较详细中文代码注释的,可直接导入 Eclipse 运行的 Tomcat 工程。

读完一个完整的开源项目,实在太费时间了v_v,后续时间充足的话,计划继续实现集群、异步 Servlet 和 websocket 的代码,欢迎 star 关注

模拟实现 Tomcat 的核心模块:NIO,HTTP,容器和集群的更多相关文章

  1. Tomcat学习四步走:内核、集群、参数及性能

    主题简介: 内核实现原理 分布式集群 生产部署关键参数 性能监控和分析 一.内核实现原理 HTTP Web服务器与浏览器之间以HTTP协议通信,浏览器要访问服务器即向服务器发送HTTP请求报文. 如图 ...

  2. Spring核心模块:IoC容器介绍

    1.IoC容器运用的是控制反转模式. 2.IoC容器负责管理对象之间的依赖关系,并完成对象的注入. 3.在IoC设计中,会将依赖关系注入到特定组件中,其中setter注入和构造器注入是主要的注入方式. ...

  3. nginx+tomcat+memcached-session-manager组成简单的负载均衡和集群

    1.搭建环境 192.168.29.128(luxh-01.com) 安装nginx,参考 http://www.cnblogs.com/luxh/p/4067038.html 192.168.29. ...

  4. nodejs的mysql模块学习(十)连接池集群配置选项

    连接池集群选项 canRetry : 如果true ,连接池集群会在连接失败时尝试连接 默认true removeNodeErrorCount : 如果连接失败,节点的errCount增加.当erro ...

  5. nodejs的mysql模块学习(九)连接池集群

    连接池集群 连接池集群可以提供多个主机连接 创建连接池集群 //创建连接池集群 var poolCluster = mysql.createPoolCluster(); //添加配置 config是一 ...

  6. apache + tomcat 集群

    apache2.2与tomcat集成(可以多个tomcat) 需求概况: 有3个服务: localhost:9091, localhost:9190. localhost:9191分别对应3个tomc ...

  7. Tomcat 集群

    1.  前言 该篇中测试的机器发生了变更,在第一篇中设置的Apache  DocumentRoot "d:/deployment"修改为了DocumentRoot d:/clust ...

  8. 第四篇、Tomcat 集群

    1.  前言 该篇中测试的机器发生了变更,在第一篇中设置的Apache  DocumentRoot "d:/deployment"修改为了DocumentRoot d:/clust ...

  9. 用apache和tomcat搭建集群,实现负载均衡

    型的企业应用每天都需要承受巨大的访问量,在着巨大访问量的背后有数台服务器支撑着,如果一台服务器崩溃了,那么其他服务器可以使企业应用继续运行,用户对服务器的运作是透明化的,如何实现这种透明化呢?由如下问 ...

随机推荐

  1. 《TIME》时代周刊阅读

    0. 常识 tribunal 是解决民事诉讼和民事纠纷的地方,以调解为主,使用主席制.主席是受过司法培训,具有一定法律基础的,但不能像法官一样直接给你判决,也不能强制执行. Court 一般针对严重案 ...

  2. ASP.NET Core MVC 设计模式 - ASP.NET Core 基础教程 - 简单教程,简单编程

    原文:ASP.NET Core MVC 设计模式 - ASP.NET Core 基础教程 - 简单教程,简单编程 ASP.NET Core MVC 设计模式 上一章节中,我们提到 ASP.NET Co ...

  3. OpenGL(十) 截屏并保存BMP文件

    BMP文件格式 BMP图像又称为Bitmap(位图),是Windows系统中广泛采用的图像格式.BMP文件的数据按照从文件头开始的先后顺序分为四个部分: 我们一般见到的图像以24位图像为主,即R.G. ...

  4. 【Java】Java中的数据类型

    Java 语言是一种强类型语言.通俗点说就是,在 Java 中存储的数据都是有类型的,而且必须在编译时就确定其类型.Java 数据类型分为两类,如图: 在 Java 的领域里,基本数据类型变量存的是数 ...

  5. 你好,Oh My Zsh - 社区力量全新方式定义命令行 | 咖啡时间

    Oh My Zsh 是一款社区驱动的命令行工具,正如它的主页上说的,Oh My Zsh 是一种生活方式.它基于 zsh 命令行,提供了主题配置,插件机制,已经内置的便捷操作.给我们一种全新的方式使用命 ...

  6. LeapMotion Demo3

    原文:LeapMotion Demo3   从Github及其他论坛下载一些LeapMotion的例子,部分例子由于SDK的更新有一些小Bug, 已修复,感兴趣的可以下载:       http:// ...

  7. zendframework 初始化配置

    https://framework.zend.com/manual/2.4/en/tutorials/config.advanced.html#environment-specific-system- ...

  8. 读BeautifulSoup官方文档之html树的搜索(1)

    之前介绍了有关的四个对象以及他们的属性, 但是一般情况下要在杂乱的html中提取我们所需的tag(tag中包含的信息)是比较复杂的, 现在我们可以来看看到底有些什么搜索的方法. 最主要的两个方法当然是 ...

  9. Win8 Metro(C#)数字图像处理--2.75灰度图像的形态学算法

    原文:Win8 Metro(C#)数字图像处理--2.75灰度图像的形态学算法 前面章节中介绍了二值图像的形态学算法,这里讲一下灰度图的形态学算法,主要是公式,代码略. 1,膨胀算法 2,腐蚀算法 3 ...

  10. SqlServer 监控发布中未分发的命令数

    原文:SqlServer 监控发布中未分发的命令数 对于查看未分发的命令数,我们通常这样查看. 然而当服务器有很多发布时,一个个打开查看就很麻烦 当然,如果想用脚本查看就更方便了,运行下面的语句 -- ...