《云时代数据生命周期管理的创新与实践》在线研讨会圆满结束
2021年03月29日

海量的数据对我们的IT运维带来哪些挑战?我们该如何应对?

什么样的数据管理体系能够在大数据时代有效运转,使数据的价值最大化?

什么样的信息体系能确保海量数据的存储安全可靠?

3月24日,《云时代数据生命周期管理的创新与实践》在线研讨会在这春暖花开,万物复苏的季节圆满结束。在会上,中国电信集团行业信息化首席专家、产业互联网创新发展中心主任、中国工业互联网产业联盟副秘书长张东先生,以及紫晶存储负责产品和技术研发的高级副总裁田军先生进行了精彩的讨论。





关于海量数据的来源两位专家谈到:数据作为这个时代最重要的战略资源,已经渗透到了社会经济运转的方方面面。当前,数据早已成为企业决策、政府治理、社会经济发展的重要支撑。在大数据时代,数据特点可以理解为:

  • 数据体量大

  • 存储周期长

  • 冷数据占比高

  • 安全要求高

要让数据发挥出价值,第一是数据的有效可靠存储,第二是对数据进行高效的管理,第三实现数据的分析挖掘,只有做到这几点,数据价值才能充分体现出来。

在当前我们面临哪些数据相关挑战方面两位专家谈到:海量数据可以帮助我们的政府和企业进行精准分析和判断,为我们的工作和生活带来极大的收益。由于数据的样本量很大,体量也很大,一旦把数据作为重要的工程,其投入成本非常高。


从数据应用角度,大量数据存在明显的二八定律现象,现实社会中存储数据80%以上都属于冷数据,只有不到20%的数据是热数据。


如何管理好热数据和冷数据,并且在根据需要进行灵活调度。满足用户需求情况下降低运维成本,这些都是传统的数据存储体系无法回避的重大挑战。




如何去应对数据运维带来的挑战,张东先生讲到:不同行业不同特征,异构性强:如城市物联网,工业行业这些基于云计算的业务,可以通过边缘计算设备将海量数据进行处理,上传到云端,缓解数据平台压力。边缘计算技术将成为云计算的新的路径,更多的政府和企业正在把边缘计算作为一个重点攻关项目去推进。另外,要做一些数据蓝领的工作:通过数据的预处理,将数据进行分层分类,去除垃圾数据,保障数据的可用性。这些需要创新的技术将数据的存储和数据计算两者进行融合,加速数据的加工,数据转换成价值。


田军先生从数据运维层面进行的阐述,他谈到:根据数据访问特点,数据应放到不同的存储空间,减少运维成本。目前市场上,主流的存储介质包括机械硬盘、固态硬盘、磁带和光盘。固态硬盘和机械硬盘,速度快,适合高速数据访问及在线业务应用。磁带和光盘,速度慢,适合海量数据长期备份、归档业务应用。


磁盘和固态硬盘SSD的数据存储有效期一般为3~5年,数据到了有效期限时,需要迁移到新的介质中去,数据在迁移的过程中有丢失的风险,同时加大了对数据中心的运维成本。光存储的数据存储有效期可达50年,极大的提升了数据的安全性,同时通过减少数据迁移,降低了数据中心的维护成本。


磁带存储其数据有效期约为8-10年,但是读取模式为顺序读取,数据读取效率极低。而且磁带存储对存储环境要求极高,还容易出现粘黏霉变、磁带消磁等情况,数据安全得不到保证。光存储的应用有效期可以达到50年。同时,光存储同等容量的能耗仅为传统磁电介质的1/10。而且光盘刻录后,不可篡改,能够实现数据安全保障,存储可靠性高。

那么什么样的数据管理体系,能够在当前大数据时代的背景下,有效运转,使数据的价值最大化呢?两位专家讲到:不同行业数据形成价值,需要通过专业运营团队,专业运营工具才能得以实现。此外,数据不能离开业务,加载过程中需要各类算法,运营工具等,这是一个不断迭代,不断优化的过程。

数据只有通过应用,才能发挥出数据的真正价值。有效的数据管理体系,需要能够提供安全可靠的数据存储、以及高效的数据读取调用功能,这就需要在存储介质、存储设备、数据管理软件等多个层面发力。


为了实现数据的高效读取与可靠保存,紫晶存储引入了“数据生命周期管理”的理念,开发了分层存储管理技术。利用紫晶存储分层管理软件,对数据进行冷数据、热数据的分层分类,再利用磁光电存储介质的不同优势,整合成为立体的数据存储管理系统,实现数据安全高效的存储管理。同时紫晶存储还与用户深入沟通,针对不同的应用场景开发扩展数据存储管理功能,提高了用户管理和使数据的便捷性。

随着数据成为国家的战略资源,数据安全重要性也被提到了一个全新的高度,成为了国家安全的一个组成部分,基于这个问题,两位专家评论到:我国非常重视数据安全,已经引入数据治理概念,定义了相关的法律法规,成立了数据局。同时,制定了相关的行业标准,以对标国际标准。目前我国已经投入力量进行法律体系研究及团队建设,保障数据安全。


从存储介质的方向出发,可以利用光存储系统的物理特性,确保数据的存储安全。光盘在完成数据存储后,无法对数据进行更改,因此杜绝了数据被主动或被动篡改的可能。同时光盘对存储条件要求低,能够抵御大部分突发事件对数据中心的影响。光盘超长的存储有效期,也能够解决数据在存储期内进行数据迁移的需求,避免在数据迁移的过程中造成数据损坏。





什么样的信息体系能确保数据的存储安全可靠呢?田军先生讲到:

我们从数据存储产业布局的角度来探讨数据安全的问题,其实也就是解决被西方国家卡脖子的问题。从存储市场上的企业布局来看,光存储也是中国信息产业升级的首选。目前,存储领域是我国信息产业生态当中最薄弱的环节。但是存储是数据载体,是保障网络空间安全,维护信息系统正常运转的核心基础设施。实现存储的自主可控势在必行。

主流的磁盘介质,核心技术由国外厂商全面掌控。新兴的固态硬盘介质,虽然紫光等企业已经在从存储介质层面进行开发创新,但是主要市场份额被欧美企业占据。

在光存储领域,紫晶存储是少数从底层介质做起的存储企业,具备底层存储介质研发和生产能力,从介质到设备完全自主可控,具有全产业链的竞争优势。紫晶已经掌握核心技术,实现了全产业链的国产化整合。

在会上,两位专家还通过不同的行业案例,讲述了数据生命周期管理的创新与实践。同时也对线上观众的问题进行了精彩的作答。