技术标签: linux内核网络初始化
1. 前言
本文首先从宏观上概述了数据包发送的流程,接着分析了协议层注册进内核以及被socket的过程,最后介绍了通过 socket 发送网络数据的过程。
2. 数据包发送宏观视角
从宏观上看,一个数据包从用户程序到达硬件网卡的整个过程如下:
使用系统调用(如 sendto,sendmsg 等)写数据
数据穿过socket 子系统,进入socket 协议族(protocol family)系统
协议族处理:数据穿过协议层,这一过程(在许多情况下)会将数据(data)转换成数据包(packet)
数据穿过路由层,这会涉及路由缓存和 ARP 缓存的更新;如果目的 MAC 不在 ARP 缓存表中,将触发一次 ARP 广播来查找 MAC 地址
穿过协议层,packet 到达设备无关层(device agnostic layer)
使用 XPS(如果启用)或散列函数选择发送队列
调用网卡驱动的发送函数
数据传送到网卡的 qdisc(queue discipline,排队规则)
qdisc 会直接发送数据(如果可以),或者将其放到队列,下次触发NET_TX 类型软中断(softirq)的时候再发送
数据从 qdisc 传送给驱动程序
驱动程序创建所需的DMA 映射,以便网卡从 RAM 读取数据
驱动向网卡发送信号,通知数据可以发送了
网卡从 RAM 中获取数据并发送
发送完成后,设备触发一个硬中断(IRQ),表示发送完成
硬中断处理函数被唤醒执行。对许多设备来说,这会触发 NET_RX 类型的软中断,然后 NAPI poll 循环开始收包
poll 函数会调用驱动程序的相应函数,解除 DMA 映射,释放数据
3. 协议层注册
协议层分析我们将关注 IP 和 UDP 层,其他协议层可参考这个过程。我们首先来看协议族是如何注册到内核,并被 socket 子系统使用的。
当用户程序像下面这样创建 UDP socket 时会发生什么?
sock = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP)
简单来说,内核会去查找由 UDP 协议栈导出的一组函数(其中包括用于发送和接收网络数据的函数),并赋给 socket 的相应字段。准确理解这个过程需要查看 AF_INET 地址族的代码。
内核初始化的很早阶段就执行了 inet_init 函数,这个函数会注册 AF_INET 协议族 ,以及该协议族内的各协议栈(TCP,UDP,ICMP 和 RAW),并调用初始化函数使协议栈准备好处理网络数据。inet_init 定义在net/ipv4/af_inet.c 。
AF_INET 协议族导出一个包含 create 方法的 struct net_proto_family 类型实例。当从用户程序创建 socket 时,内核会调用此方法:
static const struct net_proto_family inet_family_ops = {
.family = PF_INET,
.create = inet_create,
.owner = THIS_MODULE,
};
inet_create 根据传递的 socket 参数,在已注册的协议中查找对应的协议:
/* Look for the requested type/protocol pair. */
lookup_protocol:
err = -ESOCKTNOSUPPORT;
rcu_read_lock();
list_for_each_entry_rcu(answer, &inetsw[sock->type], list) {
err = 0;
/* Check the non-wild match. */
if (protocol == answer->protocol) {
if (protocol != IPPROTO_IP)
break;
} else {
/* Check for the two wild cases. */
if (IPPROTO_IP == protocol) {
protocol = answer->protocol;
break;
}
if (IPPROTO_IP == answer->protocol)
break;
}
err = -EPROTONOSUPPORT;
}
然后,将该协议的回调方法(集合)赋给这个新创建的 socket:
sock->ops = answer->ops;
可以在 af_inet.c 中看到所有协议的初始化参数。 下面是TCP 和 UDP的初始化参数:
/* Upon startup we insert all the elements in inetsw_array[] into* the linked list inetsw.*/
static struct inet_protosw inetsw_array[] =
{
{
.type = SOCK_STREAM,
.protocol = IPPROTO_TCP,
.prot = &tcp_prot,
.ops = &inet_stream_ops,
.no_check = 0,
.flags = INET_PROTOSW_PERMANENT |
INET_PROTOSW_ICSK,
},
{
.type = SOCK_DGRAM,
.protocol = IPPROTO_UDP,
.prot = &udp_prot,
.ops = &inet_dgram_ops,
.no_check = UDP_CSUM_DEFAULT,
.flags = INET_PROTOSW_PERMANENT,
},
/* .... more protocols ... */
IPPROTO_UDP 协议类型有一个 ops 变量,包含很多信息,包括用于发送和接收数据的回调函数:
const struct proto_ops inet_dgram_ops = {
.family = PF_INET,
.owner = THIS_MODULE,
/* ... */
.sendmsg = inet_sendmsg,
.recvmsg = inet_recvmsg,
/* ... */
};
EXPORT_SYMBOL(inet_dgram_ops);
prot 字段指向一个协议相关的变量(的地址),对于 UDP 协议,其中包含了 UDP 相关的回调函数。 UDP 协议对应的 prot 变量为 udp_prot,定义在 net/ipv4/udp.c:
struct proto udp_prot = {
.name = "UDP",
.owner = THIS_MODULE,
/* ... */
.sendmsg = udp_sendmsg,
.recvmsg = udp_recvmsg,
/* ... */
};
EXPORT_SYMBOL(udp_prot);
现在,让我们转向发送 UDP 数据的用户程序,看看 udp_sendmsg 是如何在内核中被调用的。
4. 通过 socket 发送网络数据
用户程序想发送 UDP 网络数据,因此它使用 sendto 系统调用:
ret = sendto(socket, buffer, buflen, 0, &dest, sizeof(dest));
该系统调用穿过Linux 系统调用(system call)层,最后到达net/socket.c中的这个函数:
/** Send a datagram to a given address. We move the address into kernel* space and check the user space data area is readable before invoking* the protocol.*/
SYSCALL_DEFINE6(sendto, int, fd, void __user *, buff, size_t, len,
unsigned int, flags, struct sockaddr __user *, addr,
int, addr_len)
{
/* ... code ... */
err = sock_sendmsg(sock, &msg, len);
/* ... code ... */
}
SYSCALL_DEFINE6 宏会展开成一堆宏,后者经过一波复杂操作创建出一个带 6 个参数的系统调用(因此叫 DEFINE6)。作为结果之一,会看到内核中的所有系统调用都带 sys_前缀。
sendto 代码会先将数据整理成底层可以处理的格式,然后调用 sock_sendmsg。特别地, 它将传递给 sendto 的地址放到另一个变量(msg)中:
iov.iov_base = buff;
iov.iov_len = len;
msg.msg_name = NULL;
msg.msg_iov = &iov;
msg.msg_iovlen = 1;
msg.msg_control = NULL;
msg.msg_controllen = 0;
msg.msg_namelen = 0;
if (addr) {
err = move_addr_to_kernel(addr, addr_len, &address);
if (err < 0)
goto out_put;
msg.msg_name = (struct sockaddr *)&address;
msg.msg_namelen = addr_len;
}
这段代码将用户程序传入到内核的(存放待发送数据的)地址,作为 msg_name 字段嵌入到 struct msghdr 类型变量中。这和用户程序直接调用 sendmsg 而不是 sendto 发送数据差不多,这之所以可行,是因为 sendto 和 sendmsg 底层都会调用 sock_sendmsg。
4.1 sock_sendmsg, __sock_sendmsg, __sock_sendmsg_nosec
sock_sendmsg 做一些错误检查,然后调用__sock_sendmsg;后者做一些自己的错误检查 ,然后调用__sock_sendmsg_nosec。__sock_sendmsg_nosec 将数据传递到 socket 子系统的更深处:
static inline int __sock_sendmsg_nosec(struct kiocb *iocb, struct socket *sock,
struct msghdr *msg, size_t size)
{
struct sock_iocb *si = ....
/* other code ... */
return sock->ops->sendmsg(iocb, sock, msg, size);
}
通过前面介绍的 socket 创建过程,可以知道注册到这里的 sendmsg 方法就是 inet_sendmsg。
4.2 inet_sendmsg
从名字可以猜到,这是 AF_INET 协议族提供的通用函数。 此函数首先调用 sock_rps_record_flow 来记录最后一个处理该(数据所属的)flow 的 CPU; Receive Packet Steering 会用到这个信息。接下来,调用 socket 的协议类型(本例是 UDP)对应的 sendmsg 方法:
int inet_sendmsg(struct kiocb *iocb, struct socket *sock, struct msghdr *msg,
size_t size)
{
struct sock *sk = sock->sk;
sock_rps_record_flow(sk);
/* We may need to bind the socket. */
if (!inet_sk(sk)->inet_num && !sk->sk_prot->no_autobind && inet_autobind(sk))
return -EAGAIN;
return sk->sk_prot->sendmsg(iocb, sk, msg, size);
}
EXPORT_SYMBOL(inet_sendmsg);
本例是 UDP 协议,因此上面的 sk->sk_prot->sendmsg 指向的是之前看到的(通过 udp_prot 导出的)udp_sendmsg 函数。
sendmsg()函数作为分界点,处理逻辑从 AF_INET 协议族通用处理转移到具体的 UDP 协议的处理。
5. 总结
了解Linux内核网络数据包发送的详细过程,有助于我们进行网络监控和调优。本文只分析了协议层的注册和通过 socket 发送数据的过程,数据在传输层和网络层的详细发送过程将在下一篇文章中分析。
参考链接:
文章浏览阅读2.5k次。Vue-ECharts基于EChartsv4.1.0+ 开发,依赖Vue.jsv2.2.6+。安装$ npm install echarts vue-echarts使用方法import Vue from 'vue'import ECharts from 'vue-echarts' // 在 webpack 环境下指向 components/ECharts.vue/..._ailed to resolve import "vue-echarts" from
文章浏览阅读520次。PCA主成分分析属于矩阵分解算法中的入门算法,通过分解特征矩阵来实现降维。前置知识:包括样本方差、协方差、协方差矩阵、散度矩阵的简单介绍特征值分解EVD和奇异值分解EVD的原理和流程分别基于EVD和SVD的PCA实现方法PCA的应用以及对一些应用或说明的补充。
文章浏览阅读1k次,点赞14次,收藏6次。当然,您也可以直接在启动参数中设置配置文件的使用,下面展示的就是使用 Java 命令启动 SpringBoot 包的语法,其中包含两个路径,第一个是配置文件的路径,第二个是 SpringBoot 包的路径,这样就可以实现让。此项目是继承于 diskMirrorBackEnd 项目的,因此所有的服务使用方法与 DiskMirrorBackEnd 中是一样的,您可以。您只需要将此项目源码克隆,然后修改配置文件即可,下面是配置文件的模板。至于需要使用的包和配置文件模板,您可以亲自编译,也可以在。
文章浏览阅读7.4k次。1. 问题用json schema校验json数据的时候,遇到报错:java.lang.NoSuchMethodError: org.json.JSONObject.toMap()Ljava/util/Map; at org.everit.json.schema.loader.SchemaLoader$SchemaLoaderBuilder.schemaJson(SchemaLoade..._java.lang.nosuchmethoderror: org.json.jsonobject.tomap()
文章浏览阅读134次。String的不变性String在Java中特别常用,相信很多人都看过他的源码,在JDK中,关于String的类声明是这样的:public final class Stringimplements java.io.Serializable, Comparable<String>, CharSequence {}可以看到,String类是final类型的,那么也就是说,String是一个不可变对象。不可变对象是在完全创建后其内部状态保持不变的对象。这意味着,一旦对象..._他白天学习晚上工作
文章浏览阅读5.1k次。对于oracle数据库只有物理备份 和逻辑备份 物理备份:是将实际组成数据库的操作系统文件从一处拷贝到另一处的备份过程,通常是从磁盘到磁带。 逻辑备份:是利用SQL语言从数据库中抽取数据并存于二进制文件的过程。 第一类为物理备份,该方法实现数据库的完整恢复,但数据库必须运行在归挡模式下(业务数据库在非归挡模式下运行),且需要极大的外部存储设备,例如磁带 库,具体包
文章浏览阅读920次。今天这道题目呢,与之后要讲到的“龟兔赛跑”都是从PAT的基础编程题目中节选过来的。难度不是很大,但是特别基础,复习到了基础知识,也就是二进制、十进制两者之间的相互转换。我们先来看看这道题目的要求:BCD数是用一个字节来表达两位十进制的数,每四个比特表示一位。所以,如果一个BCD数的十六进制为0x12,那么它的十进制也是12。此时有一位小伙伴并不知道BCD数的运算规则,直接把0x12当作二进制来转换成十进制,那就会得到18。现在呢,我们就期望能把这个错误得到的十进制,转换成我们期望得到
文章浏览阅读7.5k次,点赞2次,收藏25次。Serviceubuntu配置文件systemd 命令详解ubuntu配置文件每一个服务都对应一个配置文件systemd 是 Linux 下的一种 init 软件,其作用是提供更优秀的框架以表示系统服务间的依赖关系,并依此实现系统初始化时服务的并行启动systemd 默认从目录 /etc/systemd/system/ 读取配置文件,但是,里面存放的大部分文件都是符号链接,指向目录 /usr/lib/systemd/system/(即 /lib/systemd/system),真正的配置文件存放在_udcservice要开机启动吗
文章浏览阅读1.5k次。在Android开发中,尺寸换算可以说既简单又复杂,而且还比较碎,特别是屏幕适配的时候肯定会用到他们。今天就来总结一下他们三者的关系,首先说下他们都是什么。px:像素单位。最基础的图像构成元素单位 dp:与密度无关的像素,这是一个基于屏幕物理密度的抽象单位。 这里要解释一下密度的概念,密度(dpi):每英寸包含的像素个数(单位是dpi),1dp实际上相当于密度为160dpi的屏上的一个点。可否理_dp转sp
文章浏览阅读6.4k次,点赞2次,收藏3次。安装cdh 5.15.2的时候,因为下在的包MD5值,不对了,重新安装Parcel这一步。但是却报异常。现象通过Cloudera WEB界面安装Hadoop过程中,在安装Parcel步骤时,一个节点分配激活失败,报错信息显示”主机运行状况不良”,如下图所示。分析CM的集群是Server-Agent模式的,那么必须有一个唯一的id来标识Server和Agent属于同一个集群,在Agent端..._选定的 parcel 正在下载并安装在群集的所有主机上。
文章浏览阅读3.1k次。斐波那契数列(Fibonacci sequence),又称黄金分割数列、因数学家列昂纳多·斐波那契(Leonardoda Fibonacci)以兔子繁殖为例子而引入,故又称为“兔子数列”。斐波那契数列指的是这样一个数列:1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987在数学上,斐波那契数列以如下被以递推的方法定义:F(1)=1,F(2)=1,..._奇数数列求和python代码
文章浏览阅读4k次。一、单例模式a、单例模式:单例是最简单的很常用的一种设计模式,保证了一个类在内存中只能有一个对象。思路: 1) 如果其他程序能够随意用new创建该类对象,那么就无法控制个数。因此,不让其他程序用new创建该类的对象。 2) 既然不让其他程序new该类对象,那么该类在自己内部就要创建一个对象,否则该类就永远无法创建对象了。 3) 该类将创建的对象对外(整个系统)提供_impl和business属于什么设计模式