前言:数据长期保存是刚需 随着国家对数字经济基础设施建设的推进,将数据信息产业、大数据行业推向了风口浪尖。从而使得数据资料的归档保存、异地灾备、安全管理等各方面的问题也日益凸显,并催生了各行业对数据监管的要求:金融:中国银监会规定应将录音录像资料至少保留至产品终止日起6个月后或合同关系解除日起6个月后, 发生纠纷的要保留到纠纷最终解决后。保险:中国保监会规定保险期间在一年以下的保留不少于5年,保险期间超过一年的保留不得少于10年。公检法:司法档案规定诉讼档案管理期限20年、60年、永久。公安现场执法视音频资料,永久保存。医疗:规定门诊、住院病历保存15年和30年。国土:规定国土资源业务档案的保管期限分为10年、30年、永久。测绘:测绘地理信息业务档案保管期限分为10年、30年、永久。教育:学生信息,成绩,档案要求永久保存。 以上这些政策要求,都对数据的存储和管理提出更高的要求。如何构建一套统一的数据湖基座,让数据信息永存并为之赋能,同时解决海量数据与管理压力之间的矛盾,长期、稳定、安全、绿色的存储系统已成为当今企业的重要需求。 数据长期保存需要分几步? "把大象装冰箱总共要几步"来自于赵本山、宋丹丹的小品《钟点工》中的经典桥段。第一步:把冰箱门打开;第二步:把大象装进去;第三步:关上冰箱门; 总共三步!但真有这么简单吗?大象这么大 如果冰箱塞大象纯属娱乐,那么换个现实点的问题:数据长期保存需要分几步?第一步:购买XSKY光磁一体机;第二步:设置数据流动策略;第三步:周期扩容,滚动升级; 三步就可以搞定了?对,就三步! 第一步:购买XSKY光磁一体机 目前提到数据长期存储或归档常见的方案主要是磁带库和蓝光库,那我们应该如何选择?首先我们先了解下磁带库和蓝光存储的优劣势: 参数 磁带库 蓝光存储 有效存储时间 10-15年 50-100年 可读写次数 200次以上 2000次以上 记录方式 磁头与磁带接触 光头与盘面非接触 寻址速度 慢 快 环境要求(湿度、温度、电磁、灰尘等) 高 低 维护成本 高,需要2-3年定期绕带 低 兼容性 低,隔代不兼容 高,兼容 数据安全 可改写 不可篡改 整体成本(数据保存30-50年) 高 低 迁移周期与成本 5-8年,成本高 50-80年,成本低 综合以上对比,蓝光存储在数据长期保存上比较有优势,但我们需要从数据性能、成本、长期、安全稳定等方面全方位考虑,长期保存只是解决了功能需求,如何低成本长期保存才是重要价值所在。蓝光存储虽然有这么多低成本长期保存的优势,但存储性能满足不了使用需求,所以很多蓝光存储厂商都在蓝光存储的管理节点加了数据缓存机制,也是所谓的光磁一体化产品。但这个缓存节点是单节点部署,不是分布式集群部署,所以在海量数据存储的场景无法满足。并且对于长期保存,单节点故障不能很好的保障数据安全,一般服务器寿命10年左右,10年后缓存节点替换也是一个问题。 XSKY结合自身分布式存储多年积累的优势以及蓝光存储的低成本长期保存的优势,推出了XSKY数据长期保存系统-光磁一体化产品方案,同时实现存储高性能、高稳定、高安全、易管理、低成本及长期保存的能力,可以做到对海量数据的低成本长期有效保存。 XSKY 光磁一体机 XSKY 数据长期保存系统(XSKY Long-term Retention System 简称XLRS)是基于蓝光光盘库存储系统开发的可横向扩展的分布式对象存储系统,同时提供对象存储服务和归档存储服务。平台结合磁盘和蓝光两层存储介质,兼备磁存储的高性能和蓝光存储低成本长期保存双重优势,可以做到对海量大数据的低成本长期有效保存。平台实现了自动分层存储,按照用户所制定的策略,数据在磁盘存储和蓝光存储之间自动进行迁移, 满足企业数据的冷热数据分层、归档备份、长期存储等业务需求。 产品架构图 XSKY 数据长期保存系统是真正的光磁融合一体机,磁存储和光存储介质完全融合部署软件系统,无须单独配置独立的蓝光系统管理服务器,最小规模3台服务器配置1套蓝光库。 产品优势 1.冷、热数据统一管理 常见的冷热数据存储是需要2套存储,一套存储热数据的存储,一套存储归档冷数据存储,通过迁移或归档软件将热存储中的数据迁移或归档至冷存储中。同一组业务应用根据访问需求,会产生冷、热2种数据,根据常见的冷热数据存储方案就需要2个访问入口。如果对数据做分析处理,还需要将数据通过迁移或归档软件从冷存储迁移回热存储,冷热数据管理非常复杂,不便于长期维护,不能很好的挖掘数据价值。而 XSKY 数据长期保存系统-光磁一体机只需一套存储即可解决冷、热数据统一管理,统一访问入口,内置数据流动引擎使热、温、冷数据永活。 2.数据分级管控 今年初发布的《数据安全法》中也有提出要对数据进行分类分级,不同级别数据在不同活动场景,安全级别不同,可以设置不同的安全防护手段和措施。 通过XSKY 数据长期保存系统可以真正实现热温冷数据按需分级存储及全生命周期管理,首先数据在写入时可以根据上层业务访问需求及数据类型将不同数据存储到不同的存储层级,高频访问的热数据可直接写入由SSD介质组成的性能池,对于访问性能要求不高的数据可以写入普通HDD池,写入后不需要访问的数据也可直接写入蓝光存储进行长期保存。不同层级存储可以按需设置不同安全策略及访问策略,以保证不同数据细粒度安全管控。 第二步:设置数据流动策略 数据只有流动起来才有价值,对于存储后的数据可以通过生命周期策略,将数据按需进行热、温、冷双向自由流动,存储在SSD池中的热数据一段时间后访问频度降低,则可以通过策略将该部分数据流动到HDD数据池,将不需要访问的历史数据根据策略自动流动到蓝光存储,进行长期保存。对于流动到冷池和蓝光的数据还可以按需流回热、温数据池,让数据在所有存储介质中自由双向流动,挖掘数据最大价值。 生命周期策略可以通过可视化管理界面灵活配置,一个策略轻松搞定数据的生老病死全生命周期管理。 对于需要对外发布的数据可以直接同步到云端进行发布,还可以将发布数据同步到不同云端做多云备份。前期运行在云端的业务,根据当前业务需求还可以无缝的将核心数据平滑下云,真正的打通云上云下端到端混合云方案,实现不同数据云上云下的不同安全管控。 第三步:周期扩容,滚动升级 要数据真正长期存储,除了软件上可以保证长期稳定可用,还需硬件设备能够提供永久存储的能力。但目前企业级硬盘一般只有5年左右使用寿命,服务器一般10年左右使用寿命,还有蓝光光驱也有有限的使用寿命。如何满足硬件设备永续,让数据真正永活? XSKY 数据长期保存系统借助自身软件定义存储的优势,在不影响业务使用的情况下,可以平滑的更换过保的硬盘及存储服务器。对于蓝光存储的光驱,不像磁带库一样有兼容性要求,蓝光光驱可以完全兼容,可以平滑更换过保的光驱。 可支持无限制更换硬件设备,让软件系统可无视硬件设备迭代对系统造成的各方面影响,实现数据多次生命周期价值曲线排浪。 产品价值简化存储架构:真正光磁融合一体产品,无须单独蓝光管理节点,减少硬件采购成本;一套光磁一体存储平台解决海量非结构化数据的性能、安全、扩展性难题;分级存储,分级管控:热、温、冷数据按需分级存储,根据数据的不同安全级别分级安全管控;多协议互通,冷热数据统一管理:S3、NFS、HDFS协议互通,灵活适配各种业务场景,且冷热数据统一管理,统一访问入口;全生命周期管理:数据按需在热、温、冷不同存储介质双向流动,从原始数据获取、生产、分析、离线、删除实现全生命周期管理,挖掘数据最大价值;低成本长期保存:采用光磁一体,结合光磁不同存储介质优势,实现高性能、高安全、低成本、长期保存、数据永活等能力,满足各行业对数据保存的法规遵从要求;弹性扩展:可灵活支持硬盘、节点、存储池、光盘匣、蓝光柜等多维度按需动态扩展能力,满足数据不断增长需求;友好混合云:无缝上下云,真正打通云上云下端到端混合云方案; 结语:数据常青 XSKY星辰天合数据长期保存系统围绕数据汇、存、管、用的全生命周期管理,推动全业务场景数据基础设施升级,帮助客户降低数据存储成本压力,提升数据使用效率,解决海量数据管理复杂难题。真正实现在数据运营落地应用中形成可管、可控、可信、可溯源的体系,助力企业数据常青。