当前与网络相关的业务主要是基于tcp/ip或http,熟悉j2ee的同学一定会对http场景下的开发比较了解。但是,精通tcp/ip以及如何构建一个直接基于tcp/ip层通讯的知识却不太多见。恰巧,最近一年来我参与了一些基于tcp/ip应用的开发工作。总算有所收获,今天在博客中做些分享,希望对有兴趣的同学有所帮助。

比较常见的4层网络模型(图)如下:

基于应用层的开发难度是相对比较低的,因为绝大部分与连接和数据传输、校验相关的事情已经交给(系统)来完成,使得开发人员只需要专注于业务即可。这种分层的技术结构是非常高级和有效的。基于应用层的开发虽然方便,但是当我们需要在功能上实现某些特殊需求的时候,就难免有些掣肘。例如,我们需要从一些传感器上采集数据或希望他们能够主动将数据上送,并在经过了中心系统处理后推送到其它响应装置。这样的需求使用http来开发,反而增大了难度。

操作系统实际已经为我们提供了一种基于传输层的通讯方式:套接字(socket)。使用套接字可以让我们自由定义通讯协议并选择合适的连接方式。

利用socket实现网络通信分为服务端和客户端,服务端绑定端口并主动监听连接,客户端需要向服务端发起连接。建立一次tcp连接需要进过“三次”握手:

第一次握手:客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认;

第二次握手:服务器收到syn包,必须确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时服务器进入SYN_RECV状态;

第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,客户端和服务器进入ESTABLISHED状态,完成三次握手。

三次握手被抽象成socket连接,这个过程服务端和客户端会分别生成一个socket并通过在这个套接字上的连接收发数据。那么问题产生了,假如我们知道服务端对8081端口进行监听,客户端会随机打开一个高位端口进行连接。连接建立后,服务端是在哪个端口上监听数据的呢?答案是8081端口,服务端会根据端口上数据的源地址和端口判断从而将数据分发到正确的应用上去。

理解这一点其实很重要,如果此时通信的双方没有任何数据交换,socket也无法判断连接是否被断开。任意一方必须首先通知socket断开连接,整个通信过程才算结束。如果中间网络中断,连接会一直处于等待状态。

利用socket编程的另一个难点是,由于通信的双方完全对等任何一方都可以主动发送数据,如何实现在http应用中常见的请求/应答会比较麻烦。为此我专门查阅了http1.0和http1.1的相关资料,基本的解决方案总结如下:

  1. 客户端等待:客户端发送请求后,都需要进行堵塞并直到接收到应答或超时为止。这个是http1.0的协议规范,整个数据的交互方式是串行的。
  2. 服务端等待:串行的运行方式实际上浪费了大量的系统运算时间,使得网络通讯很容易成为整个系统的瓶颈。于是http1.1协议做了更改,客户端只要准备好请求就可以直接发送,服务端可能会一次性接收到多条请求,但是只能按照请求的顺序依次应答。

服务器的运算能力通常都比客户端强,第二种解决方案能更加有效的利用网络。但是,如果有一条请求需要请求占用服务端大量的运算时间,后续应答都会被堵塞,因此在某些情况下也会引发比较严重的问题。

为了解决这个问题,我借鉴了spring kafka在实现消息交互的时候提供的一种解决思路:为每一条请求指定一个ID,经过服务端处理后的应答都需要带上这个ID。这样在回复给客户端的时候,客户端就可以根据这条ID值来调用不同的回调处理业务。

与tcp/ip开发的总结,大致如此。后面,我还会分享一些基于技术的实际项目,如果你对这些问题有兴趣,也欢迎给我留言讨论。

TCP/IP和Socket开发经验分享的更多相关文章

  1. TCP/IP以及Socket聊天室带类库源码分享

    TCP/IP以及Socket聊天室带类库源码分享 最近遇到个设备,需要去和客户的软件做一个网络通信交互,一般的我们的上位机都是作为客户端来和设备通信的,这次要作为服务端来监听客户端,在这个背景下,我查 ...

  2. Linux内核 TCP/IP、Socket参数调优

    Linux内核 TCP/IP.Socket参数调优 2014-06-06  Harrison....   阅 9611  转 165 转藏到我的图书馆   微信分享:   Doc1: /proc/sy ...

  3. ios开发网络知识 TCP,IP,HTTP,SOCKET区别和联系

    TCP,IP,HTTP,SOCKET区别和联系 网络由下往上分为:        对应 物理层-- 数据链路层-- 网络层--                       IP协议 传输层--     ...

  4. TCP/IP、SOCKET、HTTP之间的联系与区别

    主要内容: 1.网络的七层协议 2.TCP/IP.SOCKET.HTTP简介 3.TCP连接.HTTP连接.Socket连接的区别 一.网络的七层协议 网络七层由下往上分别为物理层.数据链路层.网络层 ...

  5. 网络协议HTTP、TCP/IP、Socket

    网络协议HTTP.TCP/IP.Socket 网络七层由下往上分别为物理层.数据链路层.网络层.传输层.会话层.表示层和应用层.  其中物理层.数据链路层和网络层通常被称作媒体层,是网络工程师所研究的 ...

  6. TCP/IP 和 Socket 的关系

    要写网络程序就必须用Socket,这是程序员都知道的.而且,面试的时候,我们也会问对方会不会Socket编程?一般来说,很多人都会说,Socket编程基本就是listen,accept以及send,w ...

  7. TCP/IP的Socket编程

    1. TCP/IP.UDP的基本概念 TCP/IP(Transmission Control Protocol/Internet Protocol)即传输控制协议/网间协议,他是一个工业标准的协议集, ...

  8. TCP,IP,HTTP,SOCKET区别和联系

    物理层-- 数据链路层-- 传输层--                       TCP协议 会话层-- 我 们在传输数据时,可以只使用(传输层)TCP/IP协议,但是那样的话,如 果没有应用层,便 ...

  9. Mysql服务器相互作用的通讯协议包括TCP/IP,Socket,共享内存,命名管道

    MySQL实现了四种通信协议 TCP/IP协议,通常我们通过来连接MySQL,各种主要编程语言都是根据这个协议实现了连接模块 Unix Socket协议,这个通常我们登入MySQL服务器中使用这个协议 ...

随机推荐

  1. 4.7 if else-if

    c#中的if else-if if else-if  中最后的"else":如果用户输入的不等于上面的else if(xxx)表达式,则输出这行代码. **不参与运算的数值不用转换 ...

  2. springboot系列之04-提高开发效率必备工具lombok

    未经允许,不得转载 原作者:字母哥博客 本文完整系列出自:springboot深入浅出系列 一.前置说明 本节大纲 使用lombok插件的好处 如何安装lombok插件 使用lombok提高开发效率 ...

  3. Python数据结构 - 利用headp模块寻找最大N个元素并实现优先队列

    用headp找到最大最小的N个值 import heapq nums = [1, 8, 2, 23, 7, -4, 18, 23, 42, 37, 2] print(heapq.nlargest(3, ...

  4. SOFAJRaft—初次使用

    SOFAJRaft-初次使用 SOFAJRaft 是基于 Raft 算法的生产级高性能 Java 实现,支持 MULTI-RAFT-GROUP.应用场景有 Leader 选举.分布式锁服务.高可靠的元 ...

  5. 夯实Java基础系列11:深入理解Java中的回调机制

    目录 模块间的调用 多线程中的"回调" Java回调机制实战 实例一 : 同步调用 实例二:由浅入深 实例三:Tom做题 参考文章 微信公众号 Java技术江湖 个人公众号:黄小斜 ...

  6. 关于Python json解析过程遇到的TypeError: expected string or buffer

    关于Python json解析过程遇到的问题:(爬取天气json数据所遇到的问题http://tianqi.2345.com/) part.1 url——http://tianqi.2345.com/ ...

  7. Mac OS Catalina 如何删除自带的应用

    在新推送的系统升级过后,(博主系统是Mac OS Mojave 10.14)我们会发现,之前我们删除的令人讨厌的Mac自带应用又回来了,如果我们还按照之前百度的方式删除的话,参考: https://w ...

  8. 【maven的使用】1maven的概念与配置

    maven是一个基于java平台的自动化构建工具.构建工具的发展由make->ant->maven->gradle其中gradle还在发展中,使用较少,学习难度比较大,所以目前占据主 ...

  9. scrapy架构流程

    1.爬虫spiders将请求通过引擎传递给调度器scheduler 2.scheduler有个请求队列,在请求队列中拿出请求给下载器,downloader 3.downloader从Internet的 ...

  10. python编程基础之十四

    列表的增加元素 l1 = [10, 20, 30] l1.append(40)  # 末尾追加一个值为40的元素 l1.extend([50, 60])  # 末尾追加一系列元素,extend + 可 ...