涉及linux /proc目录下网络状态文件/proc/net/tcp、/proc/net/udp，进程文件描述符目录/proc/pid/fd。

以tcp的状态文件为例/proc/net/tcp:

sl  local_address rem_address   st tx_queue rx_queue tr tm->when retrnsmt   uid  timeout inode
6: 0100007F:22B8 00000000:0000 0A 00000000:00000000 00:00000000 00000000     0        0 623457565 1 ffff88004f918740 750 0 0 2 -1

重点关注网络连接五元组+连接状态+inode号，分别在第2、3(local_address)、4(st)、11列(inode)。

第2、3列分别是主机字节序ip:port ，例如"0100007F:22B8" -> “10.93.122.33:8888”

第4列是网络连接状态信息，状态字段含义如下：

常见网络状态如0A,01 分别代表某进程正监听和已建立连接状态。

第11列是inode号，代表Linux系统中的一个文件系统对象包括文件、目录、设备文件、socket、管道等的元信息。如图中623457565是某进程监听socket(状态0A)的inode号。

/proc/pid/fd目录是进程所有打开的文件信息，其中0、1、2表示标准输入、输出、错误，网络连接是以socket:开头的文件描述符，其中[]号内的是socket对应inode号，这样可以和网络状态文件/proc/net/tcp下的inode号可对应起来。

以pid:30168进程为例，该进程监听8888(0x22B8)端口，在/proc/30168/fd目录下显示文件描述符是3、5代表的是sokcet连接，对应inode号分别是623457565、623457729。

ls -l /proc/30168/fdlrwx------ 1 root root 64 Oct 30 10:46 0 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 30 10:47 1 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 30 10:46 2 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 30 10:47 3 -> socket:[623457565]
lrwx------ 1 root root 64 Oct 30 10:47 4 -> anon_inode:[eventpoll]
lrwx------ 1 root root 64 Oct 30 10:48 5 -> socket:[623457729]

再从/proc/net/tcp过滤22B8，可以发现有两条记录，状态分别为"0A"，“01”，inode号是623457565， 623457729，与前面30168进程fd目录下的inode号一致，就可找到这连接归属的进程。

cat /proc/net/tcp |grep 22B86: 00000000:22B8 00000000:0000 0A 00000000:00000000 00:00000000 00000000     0        0 623457565 1 ffff8811f2fd1740 100 0 0 10 0
13: 0100007F:22B8 0100007F:ED2C 01 00000000:00000000 00:00000000 00000000     0        0 623457729 1 ffff8810880e1740 20 4 30 10 -1

根据上述文件信息可以从/proc/net/tcp建立起网络连接五元组->inode的映射, 再从/proc/pid/fd建立起连接inode ->进程的映射。

这样通过inode号作为桥梁关联起系统内的进程与网络连接的信息。

为了实时获取网络连接流量在linux主机上使用开源libpcap库来抓取网络报文。

整个实现流程图如下包含以下5个关键步骤。

1. 抓包
   使用抓包Libpcap库获取到网络报文packet结构。

2. 解析报文
   解析出packet的五元组(源地址、目标地址、源端口、目标端口、协议号)信息和当前报文的流量大小。

3. 缓存更新
   在ConnInodeHash缓存查找五元组组成的key对应的inode号，如果不存在，重新读取/proc/net/tcp与udp，刷新ConnInodeHash缓存，建立起新连接与inode的映射; 并重新读取/proc/pid/fd目录对所有文件描述符遍历，过滤出以socket:开头的连接，刷新InodeProcessHash缓存，重新建立inode与进程的映射。

4. hash查找
   根据查找到inode号在InodeProcessHash缓存查找相应进程pid。

5. 统计流量
   根据报文地址，判断当前连接方向，累加进程流入、流出数据。

通过对Linux主机抓包，结合网络状态文件、进程文件描述符实现一种细粒度的进程级网络流量采集方式。利用Linux文件inode号作为桥梁，关联出进程、网络连接的映射关系。

本文的实现方式可以按进程维度统计接收/发送的总量/平均值等各维度数据，也可以扩展按网络连接维度统计流量数据，这些在主机流量安全分析、网络监控排查等场景方面可作为重要依据。

本文介绍的流量统计方式是一种通用的实现方式，但持续使用libpcap抓包对主机性能有较明显损耗; 滴滴云的主机安全团队研发了一种更高效的实现方式，主机上服务无任何感知能力，目前已在数万台主机上稳定运行，下篇文章进行详细分析，敬请期待。