我们知道,libnids本身可以实现TCP数据流的重组,但是如果一个TCP流数据量比较大的时候,就会分成好多个TCP报文段,这些报文段在网络中的传播可能是乱序的,利用libnids可以帮助我们按顺序接收到这些报文段,即实现TCP报文段的重组。

但是我们如何把这些顺序的报文段重新还原成一个完整的数据文件,也是要考虑的一个问题,因为在很多时候,单个的报文段对我们的意义不大,我们需要一个完整的数据,这样才有助于我们进一步分析网络中的数据内容。

下面的程序实现了基于libnids的TCP数据流的还原,我使用了多线程来控制数据的处理,主要的数据结构是一个带头结点的双向链表队列,队列中的每个结点存储一个完整的TCP数据流的内容,另外还有两个元素,分别是指向前导和后续结点的结构体指针。结构体定义如下:

struct buf{

char *buffer;

struct buf *prev;

struct buf *next;

};

头结点:  struct buf *head;

多线程对该链表的操作:

向链表中放数据:void put_function(int size, char *data)

{

pthread_mutex_lock(&mutex);

meke_new_item(size, data);

buffer_has_item++;

pthread_mutex_unlock(&mutex);

sleep(1);

}

mutex为互斥锁,size为data的大小,data为完整的数据流,buffer_has_item为当前链表中结点的数目。

从链表中去数据的操作:(这是一个线程函数,在执行pthread_create是创建)

void get_function(void)

{

while(1){

pthread_mutex_lock(&mutex);

if(buffer_has_item > 0){

consume_item();

buffer_has_item--;

}

pthread_mutex_unlock(&mutex);

sleep(1);

}

}

创建新的节点并把它挂到队列当中:

void make_new_item(int size, char *data)

{

struct buf *con;

if(!(con = (struct buf *)malloc(sizeof(struct buf)))){

assert("con malloc fail!");

}

if(!(con->buffer = (char *)malloc(size*sizeof(char)))){

assert("con buffer malloc fail!");

}

memset(con->buffer, 0, size*sizeof(char));

memcpy(con->buffer, data, size*sizeof(char));

con->prev = NULL;

con->next = NULL;

if(head->next == NULL){

head->next = con;

head->prev = con;

con->prev = head;

}else{

con->prev = head->prev;

head->prev->next = con;

head->prev = con;

con->next = NULL;

}

}

处理还原之后的数据:

void consume_item()

{

int k;

struct buf *p;

if(head->next){

printf("%s", head->next->buffer);

p = head->next;

if(head->next->next){

head->next = head->next->next;

head->next->preb = head;

}else{

head->next = NULL;

head->prev = NULL;

}

if(p){

free(p);

p = NULL;

}

}

}

链表初始化(可以把整个程序的初始化都放在这里进行):

void init_dlink()

{

if(!(head = (struct buf *)malloc(sizeof(struct buf)))){

assert("head malloc fail!");

}

head->next = NULL;

head->prev = NULL;

}

head的定义是一个全局变量,struct buf *head;

在主函数当中,要创建线程,注册libnids回调函数:

int main(int argc, char *argc[])

{

pthread_t thread;

init_dlink();

pthread_mutex_init(&mutex, NULL);

if(!nids_init())P{

assert("nids init fail!");

}

pthread_create(&thread, NULL, (void *)get_function, NULL);

nids_register_tcp(tcp_protocol_callback);

nids_tun();

return 0;

}

在回调函数当中,我们可以组织实现TCP数据流的还原,并把还原之后的数据添加到链表当中:

void tcp_protocol_callback(struct tcp_stream *tcp_connection, void **arg)

{

switch(tcp_connection->nids_state){

.....................

case NIDS_DATA:{

................

if(tcp_connection->client.count_new){

..............

put_function(sum_len, content);

}

}

}

}

至此,就完成了还原TCP数据流的多线程处理。

基于libnids的TCP数据流的还原(多线程实现) .的更多相关文章

  1. ZooKeeper(四):从TCP数据流到zk内部处理包的转换

    通过前面几篇文章,我们可以从整体上看到zk是如何处理网络数据的宏观架构. 本文我们从细节着手,看一下一个tcp的包是如何转换到内部的数据流处理的. 一.监听用户请求socket 基于NIO的端口监听, ...

  2. 【Java TCP/IP Socket】基于NIO的TCP通信(含代码)

    NIO主要原理及使用 NIO采取通道(Channel)和缓冲区(Buffer)来传输和保存数据,它是非阻塞式的I/O,即在等待连接.读写数据(这些都是在一线程以客户端的程序中会阻塞线程的操作)的时候, ...

  3. 基于Linux的TCP网络聊天室

    1.实验项目名称:基于Linux的TCP网络聊天室 2.实验目的:通过TCP完成多用户群聊和私聊功能. 3.实验过程: 通过socket建立用户连接并传送用户输入的信息,分别来写客户端和服务器端,利用 ...

  4. 分布式消息总线,基于.NET Socket Tcp的发布-订阅框架之离线支持,附代码下载

    一.分布式消息总线以及基于Socket的实现 在前面的分享一个分布式消息总线,基于.NET Socket Tcp的发布-订阅框架,附代码下载一文之中给大家分享和介绍了一个极其简单也非常容易上的基于.N ...

  5. 用C#基于WCF创建TCP的Service供Client端调用

    本文将详细讲解用C#基于WCF创建TCP的Service供Client端调用的详细过程 1):首先创建一个Windows Service的工程 2):生成的代码工程结构如下所示 3):我们将Servi ...

  6. 基于.NET Socket Tcp的发布-订阅框架

    基于.NET Socket Tcp的发布-订阅框架 一.分布式消息总线 在很多MIS项目之中都有这样的需求,需要一个及时.高效的的通知机制,即比如当使用者A完成了任务X,就需要立即告知使用者B任务X已 ...

  7. 基于“泵”的TCP通讯(接上篇)

    基于“泵”的TCP通讯(接上篇) 上一篇博客中说了基于“泵”的UDP通讯,附上了一个Demo,模拟飞鸽传书的功能,功能不太完善,主要是为了说明“泵”在编程中的应用.本篇文章我再附上一个关于TCP通讯的 ...

  8. TCP/IP具体解释学习笔记--TCP数据流

    1.TCP的交互数据流 (1)基本概念 所谓交互数据流,其对TCP而言,就是他们所产生的大多数的TCP报文段中所包括的数据不超过10个字节.比如聊天等telnet的软件的TCP数据流就属于TCP交互数 ...

  9. 基于libuv的TCP设计(三)

      基于libuv的TCP设计(一) 基于libuv的TCP设计(二)   一.第二版本的libuv_tcp已经基本可以使用.不会出错与崩溃现象,支持几百路客户端同时连接.可是有一缺陷就占用CPU非常 ...

随机推荐

  1. Xamarin iOS教程之警告视图

    Xamarin iOS教程之警告视图 Xamarin iOS警告视图 如果需要向用户显示一条非常重要的消息时,警告视图(UIAlertView类)就可以派上用场了.它的功能是把需要注意的信息显示给用户 ...

  2. BZOJ 3812主旋律

    求一个图中强联通图的个数. 一看就是容斥啦,但这种二进制高端操作还是学习一下Candy?dalao 注释在代码里 好久没更了... #include<bits/stdc++.h> usin ...

  3. BZOJ.4407.于神之怒加强版(莫比乌斯反演)

    题目链接 Description 求\[\sum_{i=1}^n\sum_{j=1}^m\gcd(i,j)^K\ \mod\ 10^9+7\] Solution 前面部分依旧套路. \[\begin{ ...

  4. VM 虚拟机网络配置

    VM网络设置,一共有四种模式. 分别是 1:bridge:桥接,直接和真实网卡相连.如果你要让虚拟机也要上网,就必须选这项,并且要配置和真实网卡在同一网段的IP地址. 2:host-only: 仅主机 ...

  5. 喵哈哈村的魔法考试 Round #7 (Div.2) 题解

    喵哈哈村的魔法考试 Round #7 (Div.2) 注意!后四道题来自于周日的hihocoder offer收割赛第九场. 我建了个群:欢迎加入qscoj交流群,群号码:540667432 大概作为 ...

  6. 【原】使用Eclipse远程Debug测试环境

    [环境参数] Eclipse:Version: Mars.2 Release (4.5.2) Linux:centOS 6.5 [简述] Java自身支持调试功能,并提供了一个简单的调试工具--JDB ...

  7. Redis如何处理客户端连接

    本文主要介绍了 Redis 处理客户端连接的一些内部实现机制,包括连接处理.超时.缓冲区等一系列内容. 注:本文所述内容基于 Redis2.6 及以上版本. 连接的建立 Redis 通过监听一个 TC ...

  8. 我所经历的SAP选型[转]

    这是一个失败的选型项目,而且在可遇见的未来公司也不会再经历SAP选型,甚至不会再启动erp项目,个中原因很难一言道尽,在此简要的说说我们的选型过程以及在选型过程中对各种因素的考虑. 一.重启选型工作七 ...

  9. 使用Axure RP原型设计实践01,使用概述

    首先认识Axure RP Pro 7.0软件的默认界面布局.最上面的是工具栏区域,左侧上方的是网站地图区域(sitemap),左侧中部的是部件区域(Widgets),左侧下方的是模板区域(Master ...

  10. 在Visual Studio中使用组件图描述项目组件依赖关系

    如果想描述项目组件的关系,可以考虑使用UML组建图. 在建模项目下添加一个名称为"Applicaiton Component Structure"的UML组建图. 添加各个组件,并 ...