收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

Linux内核中的预取算法

吴峰光  
【摘要】: 计算机系统中最严重的不平衡来自CPU与I/O之间持续扩大的性能差距。磁盘传输带宽的改善速度跟不上CPU计算能力的增长,数据访问延迟的改善更是严重地滞后。预取作为提升磁盘I/O性能的一种重要技术,可以有效地将来自应用程序的同步的小I/O转化为异步的大I/O,从而减少访问延迟,并促成I/O的并行化。 对顺序文件访问的预读是现代操作系统的一项必备功能。Linux内核在虚拟文件系统层实现了一个通用的文件预读算法。随着Linux的广泛应用和在越来越多样化的负载环境中运行,它的预取算法遇到了很多微妙问题的挑战。例如:当内存压力较大的时候,预读页面会被过早地回收,出现预读抖动;对已经缓存在内存中的页面进行预读操作是毫无意义的;被中断的读请求及其重试读可能使顺序性检测算法陷于混乱。本文设计了一个模块化的按需预读框架。通过引入一对预取触发条件,使一些原本复杂的问题以统一和自然的方式得到了处理。在此基础上,对访问模式的检测和预读逻辑被简化,并可以独立地进行扩展。 随着多核、多线程处理器成为新的硬件设计方向,软件的并行化也随之成为新的潮流,并带来更多的并发I/O。如何在交织的并发I/O中有效地识别和处理顺序流,已经成为预取算法所面临的一个现实挑战。我们在按需预读框架的基础上,设计并实现了被动和主动两种顺序流的检测和预读算法,引入页面状态作为对不可靠的预读状态变量的必要补充,采用更宽松的顺序性判决条件。它们可以有效地支持:淹没在随机读中的顺序访问;对单个文件实例的并发访问产生的交织访问模式;稀疏的顺序读;局部重排序的NFS顺序读;高密度的随机读区域;对大矩阵的列扫描,等等。 被动算法在单线程的情况下不会造成额外的开销,而在多线程情况下的时空复杂度与并发度的大小无关。主动算法通过高效的检测逻辑,确保发现顺序流和随机访问的热点区域,自适应的预读大小可以避免预读抖动,因而往往可以获得更好的性能。实验表明本文算法相对传统预读有突出的优势:在发生预读抖动的情况下,网络输出流量可达到传统算法的3~4倍;在随机干扰之下的顺序读性能可提高29%;交织读的性能是传统算法的4~27倍,同时应用程序可见延迟改善了35倍;在NFS文件服务中,性能提高了1.8倍:在lighttpd文件服务中,磁盘占用率降低了26%,网络输出提高了17%;在随机文件加载实验中,主动检测算法可以获得3倍于传统预读的性能。本文所述的预读算法具有重大的应用价值,其中的按需预读基本框架和顺序流的被动预读算法已先后被Linux 2.6.23和2.6.24内核采用。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 夏骏;Linux——操作系统的希望之星[J];百科知识;1999年02期
2 David Partington;采用协同化操作系统架构实现基于Linux的网络通信设备[J];电子产品世界;2004年14期
3 薛海滨;操作系统也免费[J];中国计算机用户;1998年31期
4 叶青;Linux最新安全漏洞[J];计算机周刊;2000年Z3期
5 Linux研究小组;发展我国自主安全的系统软件[J];中国信息导报;2000年09期
6 笨笨;稀饭魔语大辞典[J];电脑爱好者;2005年10期
7 厉海燕,李新明;Linux操作系统特性分析[J];微机发展;2002年01期
8 陆冬磊;;高职Linux教学探讨[J];电脑知识与技术;2008年19期
9 林纲,张治辉;Linux内核地址映射机制分析及实现[J];计算机与数字工程;2005年07期
10 包东智;;多功能手机将成为手机市场竞争新焦点[J];移动通信;2007年05期
11 喻岗;;高校计算机文化课程选用操作系统的思考[J];科技广场;2007年06期
12 王琼;;嵌入式Linux系统的实时性改造[J];电脑知识与技术;2010年22期
13 陈文星;张辉宜;陶陶;周秀丽;;嵌入式Linux的实时性改进技术[J];计算机技术与发展;2006年10期
14 王燕凤;马宁;;Linux操作系统的现状及未来[J];电脑与电信;2007年11期
15 葛伟;罗敏;;Linux的现状与未来[J];电脑知识与技术;2010年08期
16 谢平;陈冕;;嵌入式Linux操作系统的实时技术分析[J];电脑学习;2010年04期
17 唐锐,王庆庆;基于嵌入式微处理器的“基表集抄器”的设计与实现[J];南京师范大学学报(工程技术版);2005年03期
18 王艳春,颜艳,李晓荣;Linux进程调度程序剖析[J];长春理工大学学报;2005年03期
19 祝世海;;《Linux操作系统》课程的教学探索与实践[J];林区教学;2007年05期
20 买尔旦·阿不拉;;基于Linux操作系统的网络安全策略[J];科技信息(学术研究);2008年27期
中国重要会议论文全文数据库 前10条
1 贾志洋;王勇刚;崔博文;杨玉婷;;应用型本科院校Linux操作系统的教学探索[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
2 卢菲;谢永强;;基于Linux的防范缓冲区溢出攻击的策略和方法研究[A];第十八次全国计算机安全学术交流会论文集[C];2003年
3 王忠;杨家仕;欧阳首承;任苏萍;黄中辉;;Linux网络安全[A];四川省通信学会2001年学术年会论文集[C];2001年
4 张玉民;陈定方;;Linux下USB驱动程序的设计与实现[A];湖北省机械工程学会机械设计与传动专业委员会第十五届学术年会论文集(一)[C];2007年
5 康淮湘;何川;徐一川;;自己动手搭建Linux邮件服务器[A];天津市电视技术研究会2010年年会论文集[C];2010年
6 王东;;LINUX作为企业运营级系统平台的探讨[A];海南省通信学会论文集(二○○一年)[C];2001年
7 吴迪;熊显名;;测控系统中触摸屏驱动的研发[A];第三届全国虚拟仪器大会论文集[C];2008年
8 朱国正;侯整风;;基于Linux平台的智能卡通用驱动模型[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
9 孙艳;叶梅;赵京伟;;Linux环境下一个小型数据获取系统的研究实现[A];第十届全国核电子学与核探测技术学术年会论文集[C];2000年
10 陈蜀宇;张宇超;郭盛荣;曹俊勇;;国产Linux在网络教育中的应用分析[A];重庆市首届工程师大会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 吴峰光;Linux内核中的预取算法[D];中国科学技术大学;2008年
2 张志杰;智能手机操作系统的竞争与发展研究[D];北京邮电大学;2012年
3 于晓;基于嵌入式Linux的仪器操作系统的研究[D];西安电子科技大学;2009年
4 周睿;面向安全关键的虚拟化与分区操作系统研究与实现[D];兰州大学;2010年
5 吴庆波;基于虚拟机的可信操作系统关键技术及应用研究[D];国防科学技术大学;2010年
6 李伦;Linux及其伦理意蕴[D];湖南师范大学;2002年
7 毛佳;嵌入式实时系统中关键技术的研究[D];吉林大学;2004年
8 高洪涛;脑外科手术辅助用智能导管及操作系统研究[D];哈尔滨工程大学;2011年
9 李航;一种面向自愈计算的OS体系架构的研究[D];西安电子科技大学;2008年
10 郭锐;基于Linux的微细电火花加工数控系统及其相关关键技术的研究[D];哈尔滨工业大学;2007年
中国硕士学位论文全文数据库 前10条
1 郑国伟;Linux内核移植与USB无线网卡驱动的研究与实现[D];东北大学;2008年
2 张向艳;基于Linux的网络高清播放器的设计与实现[D];北京邮电大学;2010年
3 郑冠贞;基于Linux下的网络入侵检测系统[D];中国石油大学;2010年
4 王龙;嵌入式软核的Linux操作系统应用研究[D];西安电子科技大学;2011年
5 沈浩;基于ARM9及嵌入式Linux系统平台的应用研究[D];昆明理工大学;2009年
6 袁灵波;基于嵌入式Linux驱动程序设计方法研究及应用[D];西安电子科技大学;2010年
7 张宪华;基于嵌入式Linux的系统构建及桌面应用程序研究[D];山东科技大学;2010年
8 冀谦祥;基于Linux的嵌入式网络视频监控系统设计与实现[D];电子科技大学;2010年
9 陈立勤;基于S+core平台的Linux内核移植[D];北京邮电大学;2010年
10 吴元梓;Linux下基于ARM的GPRS通信研究[D];安徽农业大学;2010年
中国重要报纸全文数据库 前10条
1 左亚莉;操作系统谁更超值 Linux 遭遇挑战[N];中国民航报;2005年
2 邹大斌;RHEL 6:云时代的Linux操作系统[N];计算机世界;2010年
3 商报记者 吴辰光;Linux操作系统渐受青睐[N];北京商报;2009年
4 汪自力;扛起国产Linux操作系统大旗[N];无锡日报;2010年
5 ;基于 Linux 平台的 Sybase 服务器[N];计算机世界;2004年
6 本报记者 姜洪军;疑为微软火中取栗SCO曾震撼Linux阵营[N];中国计算机报;2011年
7 邢小萍;Linux给大型机带来新机遇[N];网络世界;2009年
8 中科红旗软件公司产品经理 秦霄汉;向Linux迁移代价几何?[N];计算机世界;2004年
9 本报记者 刑小萍;2010年企业Linux应用趋势详解[N];网络世界;2010年
10 本报记者 申明;Linux:在中国面临高成本障碍[N];科技日报;2005年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978