ndpi 流量协议分析

目录

1、nDPI介绍

2、nDPI库

3、示例

4、API nDPI

5、开发nDPI自定义协

nDPI是一个基于OpenDPI的DPI库，目前由ntop维护。

为了给您提供一个跨平台的DPI体验，我们除了支持Unix/Linux外，同时也支持Windows。不仅如此，我们已经通过修改nDPI，使得它更加适合于流量监控应用，我们通过禁用那些对网络流量监控不必要的特性，已经实现了这一功能，因此也加快了DPI引擎的速度。

nDPI允许应用层检测协议，而不管使用的端口是什么。这意味着在非标准端口监测已知协议（例如在80号端口之外的端口检测HTTP协议）或者反过来（例如在80号端口检测Skype流量）都成为了可能。这是由于在当今“端口=应用”的概念不再适用。

在过去的几个月里，我们也已经新增加了几个功能特性，包括：

1.1、下载源

当你在构建ntop与nProbe时nDPI会自动被下载。当然也没有什么能阻止你将其用作一个独立的DPI库。你可以从https://github.com/ntop/nDPI 下载源码。

2.1、编译nDPI源码

开始使用nDPI库非常地简单。为了编译这个库，你必须满足一些先决条件比如：

为了实现这些，你需要使用以下命令来安装他们：

一旦你完成了上面的安装，你就能使用以下命令编译nDPI源码：

2.2、编译示例ndpiReader源码

开始使用ndpiReader也很简单。为了编译它你必须使用以下命令：

2.3、ndpiReader命令行选项

这个示例ndpiReader应用在速度/功能分析方面和封装支持上均能被使用。特别的是，ndpiReader能够指定很多命令行选项。

下面列举了可使用的命令选项和每一个选项的简要简要介绍：

这项命令用于指定一个pcap文件来读取数据包，或者指定一个用于实时捕获的设备。而且只能指定两者当中的一个。

指定一个BPF过滤器用来过滤选定的流量。它只允许nDPI接受那些和过滤器匹配的数据包（如果被指定的话）。

定义了捕获持续时间，以秒为单位，仅用于实时流量捕获。

指定了一个协议文件（例如protos.txt）来扩展对子协议和基于端口协议检测的支持。尤其需要小心的是，协议一旦被定义到protos文件中就会覆盖之前的已经存在的协议。

检测循环数（仅用与测试）

这个标志会禁用nDPI协议猜测，仅使用DPI。

打印ndpiReader帮助

使用这个标志时，ndpiReader会生成详细的输出，这个输出能被用于调试其性能。数字1是显示带有“未知协议”数据包的最低等级，而2级会显示地更加详细，两者只能指定其一。

2.4、协议文件

nDPI能够通过基于字符串的匹配支持子协议。这是由于许多新的子协议比如Apple iCloud/iMessage，WhatsApp和许多其他的使用HTTP（s）的协议能够通过解码SSL证书主机或者HTTP“Host:”被检测到。因此我们决定将一个基于流行的Aho-Corasick 算法的高效字符匹配库嵌入到nDPI中，用于数十万子字符的高效匹配（即在普通硬件上能足够快地支持10Gb的流量）。

你可以在运行时通过使用一个用以下格式的协议文件来指定子协议：

除此之外，你也能使用以下格式来指定一个基于端口的检测：

你可以使用ndpiReader这个应用（使用 –p 选项）来测试你的自定义配置。或者你可以使用ndpi_load_protocls_file() nDPI API调用来增强你自己的应用。

在这一节我们会展示一些ndpiReader的使用范例。

3.1、实时捕获模式

下面这个例子将会展示ndpiReader的实时捕获模式。使用参数-i指定接口设备，参数-s 指定实时捕获持续时间。

3.2、pcap 捕获模式

创建一个pcap文件最简单的方法就是通过使用tcpdump命令，就像下面这个例子：

一旦pcap文件被创建，你就能启动ndpiReader，使用参数-I :

3.3、协议文件

为了阐明协议文件的特性，我们现在将解释怎样让你识别来自ntop.org的流。

我们可以通过编辑protos.txt文件来实现它：

一旦这个协议文件已经被修改，你可以启动ndpiReader，使用参数 –p：

在这一节中nDPI API是重点。

示例ndpiReader现在有一个基础的例子用来展示如何初始化这个库。需要一个已经编译好的库和一个合适配置的Makefile（即示例Makefile）。

想要在你的应用中开始使用nDPI的API，除了你自己的包含外，必须也添加下面这个包含文件：

这个库可以像下面这样初始化：

1、声明协议位掩码，初始化检测模块：

这个函数允许你初始化检测模块。字段有如下含义：

每秒时间戳分辨率（比如1000每毫秒分辨率）。

指向一个内存分配器的函数指针。

指向一个调试输出函数的函数指针，在生产环境下置空（NULL）

2、通过适当的宏并将他们设置到检测模块中来启用所有协议（需要注意的是，如果你愿意你也可以启用这些协议的子集）。

这个函数能让你设置已经定义到检测模块中的协议位掩码。

3、为了加载一个存在的协议文件，你必须使用如下函数：

4、每当从你的pcap文件或者入口设备中捕获到流时，它们可以通过使用以下函数分析：

这些字段有以下的含义：

检测模块。

指向连接状态机的流空指针。

这个packet作为一个无符号的字符指针，长度为packetlen。这个指针必须指向第三层（IP报头）。

packetlen包的长度。

数据包的当前时间戳。

指向源订阅状态机的空指针。

指向目的订阅状态机的空指针。

5、一旦流被分析后，有必要通过下面的函数来摧毁检测模块。

这些字段有以下含义：

需要被消除的检测模块。

指向一个内存释放函数的函数指针。

如需进一步的信息，我们建议可以阅读以下文件：

协议解析器文件被包含在nDPI/src/protocols 目录下。

在这一节中，我们将展示将你的协议包含在nDPI中的方法。

5.1、介绍

每个nDPI协议都会作为一个入口函数被实现，在运行时通过nDPI被使用。nDPI有几个协议可以被用来当作这个方面的例子。下面，我们列出了一些主要的概念，如果你打算开发一个nDPI协议，这些是你必须知道的。

5.2、创建新的协议

每一个协议都必须在下面的头文件中有一个对应的定义：

例如：

NDPI_PROTOCOL_MY_PROTOCOL是这个协议的名字，171是这个协议的ID，且必须是独一无二的。

一旦定义了协议，您必须创建一个新的协议源文件，如

包括以下内容：

在里面，需要定义一个入口函数，如：

及其一个核心检测函数，用来处理一个流的数据包，包括以下内容：

还有一个特定的函数用来报告关于协议正确的识别信息，如：

5.3、添加你的协议到nDPI

协议被创建之后，你必须在下面的头文件中声明你的入口函数：

包括如下内容：

每个协议必须与一个NDPI_SELECTION_BITMASK相关联。NDPI_SELECTION_BITMASK的完整列表被包含在文件：

在为你的协议选择了一个确定的位掩码之后，你必须通知nDPI新协议的存在，通过编辑文件：

需要将你的协议添加到如下函数中：