教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

虚拟存储(虚拟存储技术)

  虚拟存储(虚拟存储技术)云与虚拟化
  云计算是通过 Internet 服务的方式提供动态可伸缩资源的计算模式,经过多年的发展已成为企业 IT 技术的重要支撑。虚拟化是云计算的核心技术之一,将一台计算机抽象为多台逻辑计算机,即虚拟机,每个虚拟机是一个单独安全的环境,可运行不同的操作系统且互不影响。
  虚拟化技术给资源使用和调度带来了极大便利,云计算系统可以根据负载情况及时进行资源调度,在提升资源利用率的同时保证应用和服务不会因资源不足而影响服务质量。然而虚拟化也是有代价的,对资源的抽象带来了性能损失,这也是虚拟化一直致力解决的问题。
  虚拟化的资源抽象可以简单划分为三部分:CPU 虚拟化、内存虚拟化和设备虚拟化。其中设备虚拟化已经可以实现网络、存储等设备直通虚拟机,没有性能损失;CPU 虚拟化在硬件特性的支持下,执行普通指令性能与裸机相同;而内存虚拟化相比裸机,仍然存在较大差异,是当下值得关注的问题。
  内存虚拟化
  虚拟内存:说到内存虚拟化,就不得不提虚拟内存的概念。早期的操作系统只有物理地址且空间有限,进程使用内存时必须小心翼翼以避免覆盖其他进程的内存。为避免此问题,虚拟内存的概念被抽象出来,保证每个进程都有一块连续的、独立的虚拟内存空间。进程直接通过 VA(Virtual Address)使用内存,CPU 访存时发出的 VA 由硬件 MMU(Memory Management Unit)拦截并转换为 PA(Physical Address),VA 到 PA 的映射使用页表进行管理,MMU 在转换时会自动查询页表。
  内存虚拟化:与虚拟内存的概念类似,一台主机上的每个虚拟机认为自己独占整个物理地址空间,因而需要对内存再做一次抽象,即内存虚拟化,保证每个虚拟机都有独立的地址空间。这样一来,在虚拟机和物理机中均有 VA 和 PA 的概念,即 GVA(Guest Virtual Address)和 GPA(Guest Physical Address),以及 HVA(Host Virtual Address)和 HPA(Host Physical Address)。虚拟机内的程序使用的是GVA,最终需要转换成 HPA。两个 VA 到 PA( GVA 到 GPA 以及 HVA 到 HPA)的映射同样使用页表管理,GPA 到 HVA 一般是几段连续的线性映射,由虚拟机的管理程序 VMM(Virtual Machine Monitor)进行管理。
  进程访存需要从 VA 转换成 PA,在引入内存虚拟化后,转换路径发生了很大的变化。原本只需要将 VA 转换为 PA,虚拟化后转换过程变成 GVA -> GPA -> HVA -> HPA。路径变得更长更复杂之后,对于访存的安全和性能都带来了挑战,这两点也是内存虚拟化需要达到的目标:1)安全 ,即地址转换的合法性,虚拟机不能访问不属于自己的内存;2)性能,即地址转换的高效性,包括转换关系建立的开销低,以及转换过程本身的开销低。
  经典方案
  为达成内存虚拟化的目标,已经有很多虚拟化方案被提出,SPT(Shadow Page Table)和 EPT(Extended Page Table)是两种典型的方案,也是大家最熟悉的方案。我们先以此为切入点,看看他们是如何工作的,然后再讨论其他的虚拟化方案。
  SPT:由于最初的硬件只支持一层页表转换,直接用来转换虚拟机或物理机上的 VA 到 PA 都无法完成 GVA 到 HPA 的转换。因此 SPT 建立了一条捷径,即影子页表,直接管理 GVA 到 HPA 的映射,如下图所示。每一个影子页表实例对应虚拟机内一个进程,影子页表的建立需要 VMM 查询虚拟机内进程的页表。
  由于影子页表管理的是 GVA 到 HPA 的直接映射,SPT 地址转换路径与物理机路径相当,直接查询一层页表就可以完成地址转换。在使用 4 级页表时,转换过程如下图所示。
  优势:SPT 地址转换过程的开销低,与物理机相当。
  劣势:
  1)地址转换关系的建立开销很大,为保证地址转换的合法性,所有的转换关系建立,即虚拟机进程的页表修改,都会被拦截之后陷出到特权的 VMM 中代为执行;
  2)影子页表本身需要占用内存,且一个影子页表只对应虚拟机内一个进程,整体会占用较多内存资源。
  EPT:后来的硬件针对虚拟化增加了嵌套页表的支持,使得硬件可以自动完成两层页表转换。EPT 即是基于硬件支持的方案,在管理 GVA 到 GPA 的虚拟机页表基础上,新增扩展页表管理 GPA 到 HPA 的映射,如下图所示。这两层页表相互独立,两层映射关系转换都由硬件自动完成。
  由于虚拟机内各级页表(gL4, gL3, gL2, gL1)内容只是 GPA,查询下一级时必须先经扩展页表(nL4, nL3, nL2, nL1)转换为 HPA,使得整个转换路径很长。在两层页表均为 4 级时,转换过程如下图所示。
  优势:地址转换关系的建立开销低,独立的 EPT 页表的存在保证了地址转换的合法性,因此虚拟机的页表可以自行修改而无需 VMM 的干预。
  劣势:转换过程的开销很大,最坏情况下需要 24(4 + 4 + 4 * 4)次硬件查表转换。
  两种经典的方案在安全上都有坚实的保证,但在性能上各有缺陷。SPT 为保证地址转换的合法性在建立转换关系时付出了很大代价,而 EPT 虽然消除了建立转换关系的开销,转换路径却更长了。
  其他探索
  业界和学术界关于内存虚拟化还有很多的探索,基本思想与 SPT 或 EPT 类似,可以据此分为三类来看:
  1)一层页表方案。与 SPT 类似,使用一层页表直接管理 GVA 到 HPA 的映射;
  2)两层页表方案。与 EPT 类似,使用两层独立页表分别管理 GVA 到 GPA 以及 GPA 到 HPA 的映射;
  3)混合方案。结合前两类方案,进行动态的选择。
  Direct Paging:一层页表方案,这是 Xen 在早期硬件仅支持一层页表时的半虚拟化方案。相比于 SPT 最大的区别是,没有单独维护 GVA 到 GPA 的虚拟机页表,虚拟机知道自己处于虚拟化环境,即知道自己的页表内容是 HPA。虚拟机修改页表也需要陷出,但是采用主动陷出的方式,可以 batch 化,而 SPT 则是被动拦截陷出;读取页表时只能拿到 HPA,需要查一张 M2P(Machine to Physical)表才能得到 GPA。
  Direct Paging 同样使用一层页表管理 GVA 到 HPA 映射,地址转换的路径与 SPT 是相同的。在使用 4 级页表时,最坏只需 4 次查表。
  优势:地址转换过程的开销低,与物理机相当。
  劣势:
  1)地址转换关系的建立开销很大,所有页表修改都需要主动陷出;
  2)需要虚拟机做半虚拟化的适配,虚拟机需要感知自己的页表管理的是 GVA 到 HPA 的映射。
  Direct Segment:两层页表方案,这是学术界基于新硬件的方案。GVA 到 GPA 的映射管理与 EPT 相同,同样采用多级页表。但 GPA 到 HPA 的映射采用分段机制, GPA 转换为 HPA 时只需要通过硬件加上一个偏移即可。
  GPA 虽然不等于 HPA,但二者的映射关系十分简单,只需要 Direct Segment 硬件添加一个偏移,整个转换路径与物理机的路径相比差别很小,仅多了几次硬件偏移。虚拟机使用 4 级页表时,转换路径如下图所示,其中 DS 表示 GPA 到 HPA 转换的硬件支持。
  优势:地址转换关系的建立开销低,同时转换过程的开销也很低。
  劣势:
  1)需要硬件支持 GPA 到 HPA 分段映射,现有的硬件不具备这样的功能;
  2)需要分配大段连续的内存,即主机不能有太多内存碎片。
  Flat EPT:两层页表方案,这也是学术界提出的基于新硬件的方案。整体与 EPT 非常相似,唯一的区别在于 EPT 管理 GPA 到 HPA 的使用多级页表,一般是 4 级,每级 512 项;而 Flat EPT 使用仅有一级的扁平页表,表项远不止 512。
  与 EPT 相同,虚拟机内各级页表的内容也是 GPA,查询下一级时需要先经过扁平扩展页表(nL4)转换为 HPA。由于扁平扩展页表只有一级,转换路径相比 EPT 缩短了非常多。在虚拟机内使用4级页表时,转换路径如下图所示,最坏只需 9(4 + 1 + 4 * 1)次查表。
  优势:地址转换关系的建立开销低,同时转换过程的开销也较低。相比于 Direct Segment 对内存分配要求很低,只需要少量连续内存用作扁平扩展页表即可(8G规格虚拟机只需要 16M)。
  劣势:需要硬件支持扁平扩展页表,当前的硬件只支持表项为 512 的多级扩展页表。
  Mix SPT and EPT:混合方案,这是学术界较早提出的方案,简单而言就是动态的分时切换 SPT 与 EPT。在虚拟机运行时监控和采集 TLB miss 与 Page Fault 的数据,在二者达到设定的阈值时进行 SPT 与 EPT 之间的切换,如下图所示:
  TLB miss 率高于阈值 T1,Page Fault 频率低于阈值 T2 时,从 EPT 切换到 SPT
  TLB miss 率低于阈值 T1,Page Fault 频率高于阈值 T2 时,从 SPT 切换到 EPT
  优势:有机会充分利用SPT与EPT的优势,达到更好的性能。
  劣势:
  1)页表切换阈值的设定很困难,硬件配置都可能影响阈值;
  2)SPT与EPT的切换也是有代价的,主要是SPT的销毁与重建。
  总结
  一层页表显著的优势是地址转换过程开销低,与物理机相同,需要解决的问题是减少地址转换建立的开销。一个可能的方向是放弃一些安全性,让页表的修改更轻量;另一个更实际的方向是在合适的场景使用,即针对页表修改不频繁的负载使用。
  两层页表的优势是地址转换建立的开销小,虚拟机可以独立修改页表,需要考虑的问题是缩短转换路径。这个方向其实可行性很高,但是依赖新硬件的支持,短期不太可能出现符合要求的新硬件。
  混合页表的设计初衷是希望充分利用两类页表的优势,但是做好动态的模式切换是非常困难的,负载的差异甚至硬件的差异都可能影响切换的效果。或许针对已知负载做定向的调优是一个可行的方向。
  长远来看,如果有新硬件的加持,两层页表(尤其是Flat EPT)是比较完善的方案,地址转换可以很高效,也不需要在安全和通用性上做一些牺牲。但是短期来看,新硬件为时尚早,在一层页表方案上做进一步的探索和优化,是更加实际的。我们将会持续在内存虚拟化这条路径探索更多的可能,欢迎大家加入 OpenAnolis 龙蜥社区讨论交流。
  关于作者:陶志恒(君川),2020年加入阿里云操作系统-云原生底层系统团队,目前从事性能优化方向的工作。
  原文链接:
  http://click.aliyun.com/m/1000287430/
  本文为阿里云原创内容,未经允许不得转载。
  举报评论2
  请先登录后发表评论~
  评论某用户1310762158赞
  转发了回复·4天前AlexText赞
  转发了回复·4天前
  让世界看到中国青年的拼搏力量光明网154评论14小时前拉萨贡嘎机场T3航站楼投运中国经济网52评论1天前有感于奥运健儿的青春气质人民网660评论19小时前刚刚看到这里,点击刷新阿里云云栖号
  阿里云计算有限公司
  关注TA的热门作品Snowflake 如日中天是否代表 Hadoop 已死?大数据体系到底是什么?
  1744阅读5天前快速界定故障:Socket Tracer 网络监控实践
  632阅读6天前当 Java 遇上机密计算,又一段奇幻之旅开始了
  540阅读3天前阿里云马涛:什么是操作系统的云原生?
  424阅读5天前获国际架构顶会ATC2021最佳论文!Fuxi2.0去中心化的调度架构详解
  374阅读4天前
  查看更多头条热榜换一换1
  于月仙丈夫发讣告
  2
  人民日报评阿里女员工被侵害事件   3
  济南华联辞退阿里员工遭侵害涉事者   4
  英国学者:美国"抗疫第一"荒谬   5
  北京报告1例来京就诊肺炭疽病例   6
  众星悼念于月仙   7
  专家:本土疫情或于8月底解决   8
  中俄联合军演开始   9
  全红婵父亲:不收房产现金等捐赠   10
  《乡村爱情》再无谢大脚   精彩视频换一换   11:26孟晚舟事件新进展!   52万次播放   08:30孩子们终于放假,回到阔别1月的小院,来个大扫除,住着倍儿舒服   18万次播放   06:28立秋,家人团聚吃饺子,妈妈擀皮,奶奶包,宸宸跟着打下手   23万次播放   10:28马霞:用离岸人民币给美元釜底抽薪   24万次播放   09:51中美正面交锋,白宫一再出笨招?3大信号表明:美国最多扛30年   73万次播放

科普下乙烯的用途有哪些乙烯有什么作用关于到现在科普下乙烯的用途有哪些乙烯有什么作用这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道科普下乙烯的用途有哪些乙烯有科普下乙烯的用途有哪些乙烯有什么作用关于到现在乙烯的用途有哪些乙烯有什么作用这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道乙烯的用途有哪些乙烯有什么作用,小科普下食盐的用途有哪些食盐有什么作用关于到现在食盐的用途有哪些食盐有什么作用这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道食盐的用途有哪些食盐有什么作用,小科普下蔗糖铁是什么有哪些作用关于到现在蔗糖铁是什么有哪些作用这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道蔗糖铁是什么有哪些作用,小编也是到网上收集飞机起飞速度(飞机低于什么速度会掉下来)飞机起飞速度(飞机低于什么速度会掉下来)目前,制空权太重要了,甚至能决定一场战争的胜负。战机达到战场的速度越快,就越有利于作战。因此,现在研发的新型战斗机都更加注重它的速度。喷气式科普下密度是什么铜的密度是多少关于到现在密度是什么铜的密度是多少这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道密度是什么铜的密度是多少,小编也是到网上科普下海水的密度是多少关于到现在海水的密度是多少这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道海水的密度是多少,小编也是到网上收集了一些与海水科普下铁的氧化物分别都有什么铁的五种氧化物关于到现在科普下铁的氧化物分别都有什么铁的五种氧化物这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道科普下铁的氧化物分别都科普下铁的化合价分别是多少关于到现在科普下铁的化合价分别是多少这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道科普下铁的化合价分别是多少,小编也是到科普下铁的性质与铁的用途关于到现在科普下铁的性质与铁的用途这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道科普下铁的性质与铁的用途,小编也是到网上科普下铁的氧化物分别都有什么铁的五种氧化物关于到现在铁的氧化物分别都有什么铁的五种氧化物这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道铁的氧化物分别都有什么铁的五
科普下success可数吗succeed的用法关于到现在success可数吗succeed的用法这个话题,相信很多小伙伴都是非常有兴趣了解的吧,因为这个话题也是近期非常火热的,那么既然现在大家都想要知道success可数吗su科普下不可数名词后用三单吗不可数名词可视为单数吗关于到现在不可数名词后用三单吗不可数名词可视为单数吗这个话题相信很多小伙伴都是非常有兴趣了解的吧因为这个话题也是近期非常火热的那么既然现在大家都想要知道不可数名词后用三单吗不可数名数学知识work可数还是不可数名词关于到现在work可数还是不可数名词这个话题相信很多小伙伴都是非常有兴趣了解的吧因为这个话题也是近期非常火热的那么既然现在大家都想要知道work可数还是不可数名词小编也是到网上收集数学知识可数名词复数的规则变化关于到现在可数名词复数的规则变化这个话题相信很多小伙伴都是非常有兴趣了解的吧因为这个话题也是近期非常火热的那么既然现在大家都想要知道可数名词复数的规则变化小编也是到网上收集了一些与数学知识wind形容词形式是什么关于到现在wind形容词形式是什么这个话题相信很多小伙伴都是非常有兴趣了解的吧因为这个话题也是近期非常火热的那么既然现在大家都想要知道wind形容词形式是什么小编也是到网上收集了一carrot的复数形式(carrot胡萝卜可不可数)carrot的复数形式(carrot胡萝卜可不可数)一可数名词和不可数名词1一些名词可数,其他的都是不可数名词。可数的名词(例如apples和hamburgers)称为可数名词。不medicine可数吗(medicine是单数还是复数)medicine可数吗(medicine是单数还是复数)天晚上让孩子练习了关键名词的属性辨析及名词修饰部分的限定属性辨析,和预计的情况差不多,几个必掉的坑完美地都掉进去了。每天扫盲suggestion可数吗(suggestion是单数还是复数)suggestion可数吗(suggestion是单数还是复数)知识链接学了20年英语才明白为什么bread是不可数名词?为什么paper(纸)是不可数名词?这才叫本质规律!名词不高考补录(2020年高考补录学校有哪些)高考补录(2020年高考补录学校有哪些)同学们最关心!最关心!今年本科有补录么?补录降分?补录有哪些大学?择校菌给你解答这些问题最重要!补录时间来袭!根据广东省教育院公布了2020对偶是什么意思(对偶的意思是啥)对偶是什么意思(对偶的意思是啥)众所周知,小学语文中常见的修辞手法有比喻拟人夸张排比,设问和反问等。在小学语文学习中,也会经常出现一些使用修辞手法后的句子,然后让孩子说说这些句子使初孕症状(怀孕了有哪些症状)初孕症状(怀孕了有哪些症状)来源寻医问药网时间20180223发布者麻麻收藏本文两个人同房之后,我们最想知道的就是是否会引起怀孕这种情况,但是大多数人并不知道刚刚开始怀孕,究竟会出