socket网络通信模型之select与epoll_dvlinker的博客-程序员宅基地_select 网络通讯

技术标签: select  重要文章记录  epoll  socket  网络通信  

目录

1、select模型

1.1 简介

1.2 使用

1.3 注意事项

2、epoll模型

2.1 简介

2.2 使用

2.3 注意事项

3、select与epoll模型的比较

3.1 select与epoll的运行原理

3.2 select与epoll的优缺点比较

4、解决实际问题

5、总结


       本篇文章是针对linux系统中解决大量客户端并发需求中遇到的socket模型问题进行分析,对之前使用的select模型以及为解决问题使用的epoll模型,进行简单的介绍,并进行对比分析。

1、select模型

1.1 简介

       所谓select模型核心在于系统API函数select函数上,它用于确定一个或多个套接口的状态,对每一个套接口,调用者可查询它的可读性、可写性及错误状态信息。用fd_set结构来表示一组等待检查的套接口,在调用返回时,这个结构存有满足一定条件的套接口组的子集,并且select()返回满足条件的套接口的数目。
       我们先来看select接口的声明:

int select (int maxfd ,					//指集合中所有文件描述符的范围,[0,maxfd)
fd_set *readset,				//可选,指向一组等待可读性检查的套接口
fd_set *writeset,				//可选,指向一组等待可写性检查的套接口
fd_set *exceptset,				//可选,指向一组等待错误检查的套接口
const struct timeval * timeout);	//最多等待时间,对阻塞操作则为NULL

其中,fd_set是一组文件描述字(fd)的集合,它用一位来表示一个fd。

typedef int32_t __fd_mask;
#define _NFDBITS (sizeof(__fd_mask) * 8)      /* 8 bits per byte */
#define __howmany(x,y)   (((x)+((y)-1))/(y))
typedef struct __fd_set 
{
    long fds_bits[__howmany(FD_SETSIZE, (sizeof(long) * 8))];
}fd_set;

       readsetwritesetexceptset指定我们要让内核测试读、写和异常条件的描述字。如果对某一个的条件不感兴趣,就可以把它设为NULL。

       timeout是一个超时时间值,类型是一个struct timeval结构的变量的指针,有三种情况:1:timeout=NULL(阻塞:直到有一个fd位被置为1函数才返回);2:timeout所指向的结构设为非零时间(等待固定时间:有一个fd位被置为1或者时间耗尽,函数均返回);3. timeout所指向的结构,时间设为0(非阻塞:函数检查完每个fd后立即返回)。

       select函数的返回值,大于0,表示某些文件可读写或出错的数目;等于-1表示出错;等于0则表示等待超时,没有可读写或错误的文件。

1.2 使用

       以下四个宏用来对fd_set结构体进行操作:

void FD_ZERO (fd_set *fdset); // clear all bits in fdset
#define FD_ZERO(p)    memset((void *)(p), (int) 0, sizeof(*(p)))

void FD_SET (int fd,fd_set *fdset); // turn on the bit for fd in fdset
#define FD_SET(n,p)   (((__fd_mask *)((p)->fds_bits))[(n)/_NFDBITS] |= (1 <<((n) % _NFDBITS)))

void FD_CLR (int fd,fd_set *fdset); // turn off the bit for fd in fdset
#define FD_CLR(n,p) 	(((__fd_mask *)((p)->fds_bits))[(n)/_NFDBITS] &= ~(1 <<((n) % _NFDBITS)))

int FD_ISSET(int fd,fd_set *fdset); // is the bit for fd on in fdset
#define FD_ISSET(n,p) (((__fd_mask *)((p)->fds_bits))[(n)/_NFDBITS] & (1 <<((n) % _NFDBITS)))

      使用select模型的示例:

fd_set readfds; //读集合,定义读、写或者异常的集合,不需要的就不用定义
FD_ZERO (&readfds); //对集合清空;

int fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); //分配tcp类型套接字
FD_SET(fd, &readfds ); //使fd对应可读集合里的bit可用,即对此fd进行检测

While(ret = select (fd + 1, &readfds, NULL, NULL, NULL)) //对可读集合进行检测,阻塞等待;
{
    if(ret < 0) 
        printf (“select error\n”);
    else if (ret = = 0) 
        printf(“time out\n”);
    else {	
       if(FD_ISSET(fd, &rdfds)) //检查fd是否可读
       recv( ); 
    }//fd可读,读取内容

FD_SET(fd, &readfds );
} //重新把fd在set到集合中去

1.3 注意事项

       1)select的第一个参数为所有监视的文件描述符的最大值+1,而不是监视的文件描述符个数+1。在linux下是值而不是个数,fd_set集合存储描述符是以位形式存储,所以只能对最大FD_SETSIZE=1024个,即描述符值是0~1023的句柄进行检测,可以在头文件中修改这个值来改变select使用的文件描述符集的大小,但是必须重新编译内核才能使修改后的值有效;而在windows下其意义是个数,描述符值的大小不受限制,每次存入fd_set中的数组时,计数器count++。上面分别列出了fd_set以及相关的四个宏在linux下的定义,可以看出是以位存储,可以和在windows下的定义做下对比;

       2)select返回后,在fd_set集合中的文件描述符都会被清0,因此在select的循环中,每次进入都要重新设置我们所关注的文件描述符。

       3)如果select使用了超时操作,每次返回select都会修改计时器,将计时器设为余下的时间,因此如果使用了计时器,每次进入循环都要重置计时器。

2、epoll模型

2.1 简介

     epoll是linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用I/O接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。另一点原因就是获取事件的时候,它无须遍历整个被侦听的描述符集,只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。

       epoll只有epoll_createepoll_ctlepoll_wait3个系统调用:

1)int epoll_create(int size); //创建一个epoll的句柄,size是epoll所支持的最大句柄数。自从linux2.6.8之后,size参数只要大于0的数值就行,内核自己动态分配。

2)int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); //epoll的事件注册函数。

第一个参数是epoll_create()的返回值。

第二个参数表示动作,用三个宏来表示:EPOLL_CTL_ADD:注册新的fd到epfd中;EPOLL_CTL_MOD:修改已经注册的fd的监听事件;EPOLL_CTL_DEL:从epfd中删除一个fd;

第三个参数是需要监听的fd。

第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:

  typedef union epoll_data {   
     void *ptr;   
     int fd;   
     __uint32_t u32;   
     __uint64_t u64;   
  } epoll_data_t;   

struct epoll_event {   
      __uint32_t events; /* Epoll events */   
      epoll_data_t data; };/* User data variable */   

events可以是以下几个宏的集合:

EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);

EPOLLOUT:表示对应的文件描述符可以写;

EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);

EPOLLERR:表示对应的文件描述符发生错误;

EPOLLHUP:表示对应的文件描述符被挂断;

EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。

EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里;

3)int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout); //收集在epoll监控的事件中已经发送的事件。

      参数events是分配好的epoll_event结构体数组,epoll将会把发生的事件赋值到events数组中(events不可以是空指针,内核只负责把数据复制到这个events数组中,不会去帮助我们在用户态中分配内存)。

       maxevents告之内核这个events有多大,这个 maxevents的值不能大于创建epoll_create()时的size;

       参数timeout是超时时间(毫秒,0会立即返回,-1永久阻塞)。

       如果函数调用成功,返回对应I/O上已准备好的文件描述符数目,返回0表示已超时。

2.2 使用

       使用epoll模型的示例:

int epfd= epoll_create();// 创建一个epoll的句柄,返回一个新的epoll句柄;
int fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); // 分配tcp类型套接字
int nfds = 0; // 临时变量,有多少个socket有事件

struct epoll_event ev;    //事件临时变量
struct epoll_event events[FD_SETSIZE];    //监听事件数组

ev.data.fd = fd;     //设置与要处理的事件相关的文件描述符
ev.events = EPOLLIN|EPOLLET;   //设置要处理的事件类型 
if ( 0 != epoll_ctl(epfd, EPOLL_CTL_ADD, fd, &ev) )
 { 
    //注册epoll事件
    printf("epoll_ctl  failed!\n");
    close(fd);
    close(epfd); }  

while(条件){
nfds = epoll_wait(epfd, events, FD_SETSIZE, -1); //最大事件是FD_SETSIZE个,-1表示没有消息就一直等待
for (s32 i = 0; i < nfds; i++){ //循环读event里的内容
	if (fd== events[i].data.fd && events[i].events&EPOLLIN ) {//fd上有读事件
		recv();
        //重新设置fd
        ev.data.fd = fd;         
		ev.events = EPOLLIN|EPOLLET;  
		epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &ev) }}}

close(fd); 
close(epfd);

2.3 注意事项

       1)当创建好epoll句柄后,它会占用一个fd值,在linux下如果查看/proc/进程id/fd/,是能够看到这个fd的,所以在使用完epoll后,必须调用close()关闭,否则会导致句柄泄漏。

       2)调用epoll_wait后,如果fd上有对应的消息,处理后应再次把fd重新设置到epoll中去。因为epoll_wait运行的原理是:等侍注册在epfd上的socket fd的事件的发生,如果发生则将发生的sokct fd和事件类型放入到events数组中。并且将注册在epfd上的socket fd的事件类型给清空,所以如果下一个循环你还要关注这个socket fd的话,则需要用epoll_ctl(epfd,EPOLL_CTL_MOD, fd,&ev)来重新设置socket fd的事件类型。这时不用EPOLL_CTL_ADD,因为socket fd并未清空,只是事件类型被清空。

       3)尽量少使用epoll_ctl,过多的使用epoll_ctl系统调用,有一定的性能开销,可能成为这个系统的瓶颈

3、select与epoll模型的比较

3.1 select与epoll的运行原理

      select会循环遍历它所监测的fd_set内的所有文件描述符对应的驱动程序的poll函数。驱动程序提供的poll函数首先会将调用select的用户进程插入到该设备驱动对应资源的等待队列(如读/写等待队列),然后返回一个bitmask告诉select 当前资源哪些可用。当select循环遍历完所有fd_set内指定的文件描述符对应的poll函数后,如果没有一个资源可用,则select让该进程睡眠,一直等到有资源可用为止,进程被唤醒(或者timeout)继续往下执行。

       对于epoll,一棵红黑树,一张准备就绪句柄链表,少量的内核cache,就帮我们解决了大并发下的socket处理问题。执行epoll_create时,创建了红黑树和就绪链表,执行epoll_ctl时,如果增加socket句柄,则检查在红黑树中是否存在,存在立即返回,不存在则添加到树干上,然后向内核注册回调函数,用于当中断事件来临时向准备就绪链表中插入数据。执行epoll_wait时立刻返回准备就绪链表里的数据即可。

3.2 select与epoll的优缺点比较

3.2.1 Select优缺点
       优点:
1)在连接个数较小,连接的活跃度较高情况下,效率高于epoll;
2)select的跨平台做的很好,几乎每个平台都支持;

      缺点:
1)单个进程能够监视的文件描述符的数量存在最大限制;
2)select()所维护的存储大量文件描述符的数据结构,随着文件描述符数量的增长,其在用户态和内核的地址空间的复制所引发的开销也会线性增长; 
3)由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()还是会对所有的socket进行一次线性扫描 ,会造成一定的开销;
4)每次在调用开始时,要把当前进程放入各个文件描述符的等待队列。在调用结束后,又把进程从各个等待队列中删除,影响效率;

3.2.1 Epoll优缺点

      优点:

1)支持的FD上限为系统定义的进程打开的最大FD个数,与系统内存相关;
2)IO效率不随FD数目增加而线性下降(FD中有大量的空闲连接),它只会对"活跃"的socket进行操作(根据每个fd上面的callback函数实现)。
3)mmap加速内核与用户空间的消息传递: 内核和用户空间mmap同一块内存实现的。
4)epoll返回时已经明确的知道哪个sokcet fd发生了事件,不用再一个个比对,提高了效率。

       缺点:

1)在连接数量较小,或者连接活跃度都比较高的情况下,epoll的效率可能比不上select。
2)epoll只有Linux2.6以上才有实现 ,而其他平台都没有,跨平台性存在缺陷。

4、解决实际问题

       老平台的需求是让最大并发客户端数由原来的256个扩大为512个,并且业务也要正常运作。在解决这个问题的时候遇到如下问题:

1)支持512个客户端并发失败,只能支持并发最多330左右;
2)并发时容易出现堵塞现象;

        每个并发任务需要建立两条连接,则需要占用至少两个socket描述符,512并发终端就要占用至少1024个+2个监听描述符(用于控制)=1026个;另外一个业务模块收、发分别用掉512个句柄。

        对于问题1,首先把协议栈的并发限制由之前的256改为512个后,使得协议栈可以为512个并发分配占用的资源。由背景知识知道512个并发所用的描述符个数会大于1024,所以把协议栈的FD_SETSIZE(系统头文件中定义的宏,可被其他地方重新定义)由之前定义的1024改为2048(并且把系统对每个进程可以打开的最大文件句柄数限制也扩大到5120,临时修改方法ulimit –n 5120,永久性修改请查阅相关资料),但是也只能并发330多个,并且有时候会出现堵塞(堵塞问题看问题2的分析)。

       由于当时只是模糊了解到select对超过1024个描述符的支持有问题,遂决定把协议栈的socket模型由selcet改为epoll。改之后测试,可以建立1024个连接了,即可以呼叫512个模拟客户端。但是有时候堵塞问题还是会出现。

       对于问题2,通过gdb查看栈调用,发现是堵塞在一个业务模块的PV操作的P(S)(S为创建socket的信号量)操作上。此操作是为远遥接收通道创建socket句柄,基本过程是:分配一个watchsocket的socket用来收消息(消息为创建一个新的socket描述符),起一个线程用来对此watchsocket进行select,有消息就处理。如果有需要创建,就给watchsocket发送udp消息,同时进行P(S)操作;watchsocket收到消息后则创建句柄并进行V(S)操作。

       添加打印发现,创建消息成功发送,进行了P(S)操作,但是在select那里并没有创建的消息被检测到。此模块对FD_SETSIZE之前的定义是256,被改为512以及改成后来的1024(每个呼叫都有可能打开一个远遥接收通道,512个呼叫就最多开512个远遥接收通道,就要占用至少512个socket描述符,但是加上watchsocket的占用总体不会超过1024)个后都还是有时候会堵塞,所以怀疑堵塞问题与FD_SETSIZE的设置关系不大。

       最后经过多次测试,发现堵塞规律:远遥接收socket句柄的创建在512个并发的中间任何时候都有可能才开始创建(并不是每个呼叫成功后就立马创建),打印创建的socket描述符的值,发现只要此值超过1024后进行远遥接收socket句柄的创建就会出现堵塞,而有的时候不堵塞是因为512个都呼叫完了还没有开始创建远遥接收socket。

        遂仔细搜集以及查看了selcet相关的资料,原来这个问题就是由于2.1.3的注意事项1中说的那样,FD_SETSIZE在linux下是值而不是简单的个数。之前理解不深刻,而且只看了windows下的实现,以为select的FD_SETSIZE都指的是个数,找到linux下的定义看过后就明了了。于是也将此模块的socket模型有select改为epoll后堵塞问题解决。

5、总结

       对select不熟悉,对其中的maxfd的意义理解不深刻导致问题一直未被彻底解决。解决问题1的时候,可能也看到了有资料说FD_SETSIZE在linux下是值而不是简单的个数,但是看的实现又是windows下的,导致记忆不深、混淆概念,乱打乱撞用了epoll。多亏问题2的一直出现,让对select以及epoll重新做了梳理,重新了解了它们在linux下的实现原理、过程以及注意事项。案例中只是对select和epoll的简单介绍,部分内容是根据网上资料总结得出而并没有亲自实践,如有不对请指正,更多信息请搜索其他资料。

       有时候,问题不是阻碍,而是推动你前进的动力和引导力!

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/chenlycly/article/details/123717804

智能推荐

Echarts实战案例代码(12):Highcharts与Echarts地图geoJSON的比较及使用方法_漏刻有时的博客-程序员宅基地

在数据可视化中,需要做地图信息可视化时,必须用到geoJSON。目前支持地图数据可视化的JS库比较丰富,现以Highcharts与Echarts两个图表库为例,对比下geoJSON的区别!geoJSON是什么?geojson是用json的语法表达和存储地理数据,可以说是json的子集,其格式如下:{ "type": "FeatureCollection", "features": [ {"type":"Feature", "properties":{},

UVa #129 Krypton Factor (例题7-5)_专攻挖掘机炒鸡蛋算法的博客-程序员宅基地

7-4练习了回溯法,这道7-5则是练习了回溯法+八皇后题意并不是很容易理解,需要多读几遍原文,确保理解无误。仔细读题后发现这道题是在深度优先枚举字母的排列,并加入了“困难”这一限制条件(类似于八皇后中的皇后不能相互攻击的意义)先想出最简单的解法:枚举字母串(书中所介绍的递归排列枚举算法),每次产生一个新串都进行检查。检查是否“困难”的方法是:外层循环枚举子串长度

C#中在定义事件委托时怎样跨窗体传递参数_霸道流氓气质的博客-程序员宅基地_c# void refreshchart

场景C#中委托与事件的使用-以Winform中跨窗体传值为例:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/100150700参照上文在定义事件时传递参数为简单的string,如果要传递比较复杂的参数,那么就可以使用对象将参数进行封装。博客主页:https://blog.csdn.net/badao_liuman...

wpf 在mvvm模式下通过命令关闭子窗体_DingCT的博客-程序员宅基地

我们知道通过注册事件直接可以在后台用this.Close();方法进行直接关闭窗体。但是当我们用了mvvm 模式后,代码的分层和规范让我们不好再用传统的方式进行关闭窗口,那么在mvvm 下我们如何通过命令的方式下关闭窗口呢? 利用View里的IsEnable属性。在子窗体的属性中使用  IsEnable . 如下:&amp;lt;Window x:Class=&quot;wpfYourSystem...

linux 已安装的 nginx 新增模块(以mail模块为例)_ethan-coding的博客-程序员宅基地

前提:linux系统+nginx+mail模块第一步:查看当前已经安装的nginx版本信息以及已经安装的模块并记住(后面会用到)命令:nginx -V结果:注意:nginx 命令提示not found则需要以下命令:ln -s /usr/local/nginx/sbin/nginx /sbin/nginx第二步:下载与上面版本一致的nginx源码地址:htt...

Ubuntu19.10下搜狗输入法输出繁体字_ピストル的博客-程序员宅基地

安装完搜狗输入法发现输出的是繁体字。解决:shift + ctrl + f 键可以切换简体中文和繁体中文。

随便推点

bootstrap.yml图标不是叶子_爱吃辣椒的小恐龙的博客-程序员宅基地_bootstrap.yml不是绿叶

需要引入依赖&lt;dependency&gt; &lt;groupId&gt;org.springframework.cloud&lt;/groupId&gt; &lt;artifactId&gt;spring-cloud-context&lt;/artifactId&gt; &lt;version&gt;3.0.2&lt;/version&gt; &lt;/dependency&gt;一般引入cloud的其他组件时都会把这个依赖带上...

Vue中一些工具的应用(仅供参考具体看API文档)_抹茶爬虫的博客-程序员宅基地

vue-cli中常见插件的使用及配置配置echars安装npm install echarts -S在组件中定义图表容器并初始化数据 // 假设是 index.vue // 1. 在template中的html标签中定义容器 &lt;div id="echarsbox" :style="{width: '300px', height: '300px'}"&gt;&lt;/div&gt;...

专业IT技术平台_hyhcloud的博客-程序员宅基地

一、国外(对英文要求较高)https://stackoverflow.com/https://sourceforge.net/https://github.com/ --开源网站二、国内https://www.csdn.net/ --专业技术平台(推荐)https://www.jdon.com/ -- 解道(很多Java设计模式的资料)www.javaresear...

Python的numpy库中的shape用法_饕餮争锋的博客-程序员宅基地_python銝要p.shape

shape函数是numpy.core.fromnumeric中的函数,它的功能是读取矩阵的维度。

MATLAB神经网络编程(十)——Hopfield网络结构与应用_Sandy在路上的博客-程序员宅基地

《MATLAB神经网络编程》 化学工业出版社 读书笔记 第六章反馈型神经网络 6.1 Hopfield网络 本文是《MATLAB神经网络编程》书籍的阅读笔记,其中涉及的源码、公式、原理都来自此书,若有不理解之处请参阅原书

推荐文章

热门文章

相关标签