关于用户态协议栈的思考

一直以来我一直以为操作系统内核是高大上的东西,但是实际上用户态的应用才是!
上周的一次技术交流中,一家网络加速卡厂商声称他们的协议栈是用户态的协议栈,用来提高性能,我对其产品直接就泄了气,然而会后,我查阅了相关的资料,找到一篇文章《千万并发的秘密-内核是问题的根本》,写出了我的心声,原来我一直都是这么认为的,只是一直都不敢承认罢了,为何不敢承认,那是因为我酷爱内核。我对那家厂商泄气表达了我深深的虚伪,内在的分裂!
       文中说”我们学的是Unix而不是网络编程“,对《Unix网络编程》一书给出了正确的评价,告诉我们,我们被平台牵累了,我们一直在面对的都是操作系统的接口如何使用的技术,而不是真正的编程,真正的天马行空般超乎想象的编程。一个又一个的应用编程框架或者中间件在提出的时候,说的是”如何能让我们不必关注实现细节而精心处理我们自己的业务逻辑“,这篇文章能让人理解这句话的好意。
       历史地看网络编程,是先有了UNIX,再有了TCP/IP和BSD socket,当然要把网络编程往UNIX里面硬塞,曾几何时,一直到现在,做网络编程的不懂UNIX会被人耻笑,当然,Linux某种意义上已经代替了UNIX。UNIX的哲学包括机制和策略分离这一真理,它在映射成这个信条之前是数据和控制的分离这个箴言,这个箴言如今已经淹没在网络设备中,比如路由器,其数据面和控制面是合在一起的,当该箴言再次唤醒其信徒的时候,SDN就出现了。是对UNIX理念的误解,导致了网络设备将控制面和数据面合在在一起而并非利益使然,这种误解甚至影响了UNIX本身。要知道UNIX理念影响了几乎所有的操作系统以及网络设备的设计,其中包括Mirosoft Windows以及Cisco的IOS。我之所以说是一种误解而并非背叛,是因为UNIX的理念可能从来就没有被真正理解过。也许,这是对宏内核的误解导致的对UNIX的误解。
       UNIX的宏内核思想影响面甚大,然而它的本意并非将所有的操作都塞进内核,而是仅仅将机要操作塞进内核,保持内核的紧凑性与高效性,因为模块之间的交流是需要成本的,宏内核思想不讲解耦合(但在实现机制上,还是模块化的)。可是如何定义什么是机要操作,考虑以下的服务:
制定一套合理的经济政策;
制定一套合理的税收计划;
生产棉布;
制作一件面料考究的羊毛西服;
提供价值¥160的发型;
...
请问哪些是机要操作?对于普通民众而言,比如我,根本就没有西服,头发一年理一次,但是对于贵族而言,除了最后一条,其它的可能都是机要操作...很难定义机要操作,所以这种定义法很容易将所有的东西都塞进UNIX。《UNIX网络编程》讲述的是,你仅需要写一个很小的轻量级的服务器就可以让UNIX做一切繁复的工作。一件颇具说服力的事可以帮助《千万并发的秘密-内核是问题的根本》的作者表达一下深深的恶意,那就是Linux曾经在内核中实现了一个WEB服务器,多么巨大的一个玩笑,或者说是对宏内核多么巨大的一个讽刺...我们要记住的是,UNIX并没有让后来者把所有的东西塞进内核,只是说,内核要保留控制权。
       我们不妨换一个思路,回到UNIX最初的思路,从控制权角度来看,哪些是属于控制面的,也许你能说出一大堆,进程调度,资源管理,文件系统...网络协议栈。不过,好像我们所有人一直以来都把网络视为例外,网络IO即不是块设备IO也不是字符设备IO,按照UNIX一切皆文件的观念,我们没法给网络一个合理的位置。socket接口的是一个完整的协议栈,而不是什么设备,我们不得不面对网络参数的调整,为此我们加了多少次班,这正是网络IO和其它设备IO相比所处的尴尬位置。
       直接和网卡接口是不是更自由些,从此我们摆脱了协议栈的束缚,然而我们必须自己实现协议栈,前些日子我就想过这些,主要是为了解决手机上面操作网络无权限的问题,我当时想得是一个关于自由的问题而不是性能问题,而《秘密》一文说的正是性能问题,回顾那个厂商的介绍,他们的产品在用户态进行数据包的协议栈处理,最大限度的使用了网络协处理器等硬件加速功能,让人感叹,请问,使用操作系统内核的协议栈,如何把处理转到协处理器上?!回答使用Netfilter已经过时了!我一直都想玩玩用Netfilter将处理转到一块卡上,但是我发现我过时了,如今的回答是,直接把内核协议栈旁路掉!如今,真的有这样的技术,其中之一叫做PF_RING,实际上就是一个抓包机制,将数据包直接从链路层获取,然后你想怎么处理就怎么处理,刚刚试了一下,挺好用,和uIP结合,简直太猛了。当然,我可没有千万级并发的测试环境,我说的猛仅仅是它竟然真的可以工作!
       说说性能问题。性能和内核无关,你不要指望从32位的Linux 2.6.8换到64位的Linux 2.6.32内核在性能上会有一个突破,也不要指望拼出Linux和Windows内核对性能提升效果的优劣,关键还是在于应用程序!WHY?因为性能是一个高端私人定制服务,内核这种基础设施是不负责这种高定服务的。想出高性能,实际上一种艺术行为,涉及到方方面面的微调,绝对是高端大气上档次的行为,你指望内核能帮你做到这些吗?在微内核的世界,这是可能的,但是千万别把你的偏好转向微内核,干嘛非要内核搞定一切呢?干嘛不自己搞定啊!就算自己搞不定,把思想或者想法放出去,总会有人搞定的啊!不管是宏内核还是微内核,都不宜把高定的东西往里面塞,否则,对于宏内核而言,它就变成了屎壳郎滚的球,对于微内核而言,它就变成了蜘蛛织的网...

再分享一下我老师大神的人工智能教程吧。零基础!通俗易懂!风趣幽默!还带黄段子!希望你也加入到我们人工智能的队伍中来!https://blog.csdn.net/jiangjunshow

原文地址:https://www.cnblogs.com/ksiwnhiwhs/p/10390649.html

时间: 2024-10-19 02:16:21

关于用户态协议栈的思考的相关文章

C1000k 新思路:用户态 TCP/IP 协议栈

C1000k 新思路:用户态 TCP/IP 协议栈 如今的server支撑上百万个并发 TCP 连接已经不是新闻(余锋2010年的演讲,ideawu 的 iComet 开源项目,WhatsApp 做到了 2.5M).实现 C1000k 的常规做法是调整内核參数,提高文件数,降低每一个连接的内存消耗(參考 ideawu 的博客). 在今年的 BSDCan2014 会议上, Patrick Kelsey 介绍了把 FreeBSD 9.x 的 TCP/IP 协议栈移植到了用户态(slides, git

[转帖]C1000k 新思路:用户态 TCP/IP 协议栈

C1000k 新思路:用户态 TCP/IP 协议栈 https://blog.csdn.net/Solstice/article/details/26363901 C1000k 新思路:用户态 TCP/IP 协议栈现在的服务器支撑上百万个并发 TCP 连接已经不是新闻(余锋2010年的演讲,ideawu 的 iComet 开源项目,WhatsApp 做到了 2.5M).实现 C1000k 的常规做法是调整内核参数,提高文件数,降低每个连接的内存消耗(参考 ideawu 的博客). 在今年的 BS

关于内核态用户态和信号的思考(其中中断上下段没有看懂)

终于搞懂用户态内核态以及中断.信号的上下文切换关系了,处于内核态的时候用户态的上下文保存在内核栈中,此时如果发生中断或者切换,是不会区分进程处于用户态还是内核态的,直接切之,软中断导致的是内核态和用户态的转化,也即是用户上下文到内核上下文的转化,而中断导致的是用户态或者内核态上下文到中断上下文的转化,进程切换导致的是用户态/内核态上下文到用户态/内核态上下文的转化.关键是每个进程都对应一个用户栈和内核栈. 扩展阅读: http://19880512.blog.51cto.com/936364/2

4-15 OS(线程,用户态,内核态,页) 数据库(原子性,日志) JAVA(I/O)

在internet services课上老师说到Capriccio 是用户模式下的thread library,OS课里第2个project也是实现一个用户模式下的线程库.之前用过POSIX库,我知道这是在内核模式里的线程库,那就表示由内核来创建.调度线程吧.但内核就像一个黑盒,一直不明白它做了什么,怎么做到的.Modern Operating System有章讲user space和kernel space控制线程. 在user space:所有线程的管理都在用户区,内核不知道多线程的存在.在

用户态、核心态详解及进程切换和系统调用原理

1)示例 void testfork() { if(0 = = fork()) { printf("create new process success!\n"); } printf("testfork ok\n"); } 这段代码很简单,从功能的角度来看,就是实际执行了一个fork(),生成一个新的进程,从逻辑的角度看,就是判断了如果fork()返回的是则打印相关语句,然后函数最后再打印一句表示执行完整个testfork()函数.代码的行逻辑和功能上看就是如此简单

[国嵌攻略][155][I2C用户态驱动设计]

用户态驱动模型 用户态驱动模型首先是一个应用程序,其次是在这个用户程序中通过内核调用来驱动设备. IIC通用驱动代码 IIC通用驱动程序的代码在/drivers/i2c/i2c-dev.c中.一次读操作或者一次写操作就是一条消息. EEPROM用户态驱动 IIC通用设备对应/dev/i2c-0设备文件. 1.打开通用设备驱动 2.构造写数据到eeprom的消息 3.使用ioctl写入数据 4.构造从eeprom读数据的消息 5.使用ioctl读出数据 6.关闭设备 配置IIC驱动 make me

内核态和用户态,内核空间和用户空间

内核态与用户态是操作系统的两种运行级别,intel cpu提供Ring0-Ring3三种级别的运行模式.Ring0级别最高,Ring3最低 内核态可以拥有比用户态更大的权限 处于内核态的进程,可以访问用户进程空间(是虚拟地址空间),就是通过进程的页表(进程本身就是一个4G虚拟地址空间.其中用户空间的3G是独立的,内核空间是共享的)来访问用户地址空间对应的物理地址,从而访问用户空间 相反用户态的进程,只能访问用户地址空间(虚拟地址空间) 在内核态下,利用内核地址空间中的高端内存地址空间,来映射高端

用户态与内核态之间的切换

时间:2014.06.08 地点:基地 说明:本文由网上资料整理而成 -------------------------------------------------------------------------------------- 一.用户态与内核态 程序在运行时会消耗操作系统的物理资源,比如在创建新进程时涉及物理内存的分配,从父进程拷贝相关信息,拷贝设置页目录.页表等.这些都涉及很底层的操作,不可随便让程序去做,而是由更高级的程序完成,以达到对资源的集中管理,减少冲突.在Linux

内核态(Kernel Mode)与用户态(User Mode)

内核态: CPU可以访问内存所有数据, 包括外围设备, 例如硬盘, 网卡. CPU也可以将自己从一个程序切换到另一个程序 用户态: 只能受限的访问内存, 且不允许访问外围设备. 占用CPU的能力被剥夺, CPU资源可以被其他程序获取 为什么要有用户态和内核态 由于需要限制不同的程序之间的访问能力, 防止他们获取别的程序的内存数据, 或者获取外围设备的数据, 并发送到网络, CPU划分出两个权限等级 -- 用户态 和 内核态 用户态与内核态的切换 所有用户程序都是运行在用户态的, 但是有时候程序确