365体育投注没反水,浪潮:谈论“智能存储管理”技术的“回潮”

Posted by

2021年3月12日,北京,北京-PRNewswire /-HDFS(Hadoop分布式文件系统)作为一种通用的分布式文件系统,可以提供高度可扩展,廉价且高度可靠的海量数据存储,并广泛用于大数据存储和分析方向。
近年来,随着5G,物联网,人工智能等领域的飞速发展,数据量持续增长;与此同时,随着大数据应用的多元化发展,数据的使用已成为更成熟,更彻底。灵活的数据处理方案对HDFS数据存储和数据读写吞吐量提出了越来越高的要求。
为了应对这些挑战,浪潮专注于开发和集成面向分布式文件系统的智能存储管理技术SmartStorageManagement(简称SSM)。许多新技术和新功能被用来解决存储方案和大数据产品中的各种挑战,以帮助提供更高效,更智能的存储解决方案。
今天的存储技术面临哪些严峻挑战?
当我们谈论困难的挑战时,我们应该首先基于异构存储介质推进数据存储管理。
从硬件平台的角度来看,HDFS的初衷是基于通用的低成本硬件提供可靠的数据存储和高吞吐量的访问。但是,随着硬件的飞速发展,传统的硬盘性能和存储容量还没有达到瓶颈,固态硬盘,永久性磁盘和SMR硬盘等新硬件受到了广泛的关注。
尽管HDFS的现有功能和研究可以与多种类型的异构介质兼容并实现异构存储介质的访问和使用,但目前尚没有一种智能检测各种设备的I / O特性的良好机制。数据可动态更改存储方法,并在异构环境中最大程度地发挥不同硬件的性能优势。
第二是大规模存储的容量压力
为了提高系统可靠性,传统的HDFS使用复制策略来确保数据安全,默认情况下通常为三个副本,但是当使用ErasureCode(EC)替换复制策略时,存储使用率仅为1/3,它可以提供与以下相同的容错能力复制并使用较少的存储空间,但是在典型的擦除代码中,如果内存使用率不超过50%,则相应的擦除代码会消耗更多的计算资源。因此,当系统承受内存压力时,用户经常希望不经常保存使用清楚的代码使用数据以减少内存压力。
但是,当前的HDFS技术仅支持将基于目录的副本转换为删除代码,转换后,文件的业务访问路径已更改,没有方便的机制来使其自动化。
带有应用程序负载的自适应内存的挑战不容忽视。
从上层应用程序的角度来看,一方面,在大数据Hadoop生态系统的不断发展中,HDFS由于其自身的稳定性,可靠性,易用性和高可伸缩性将上层视为统一的基础存储,存储在其上的数据类型以及它支持的分析负载正在变得越来越多样化。
另一方面,公司中的不同部门和用户经常基于相同的完整数据量执行查询和分析,这导致对同一数据服务的大量查询负载。在这种应用场景下,难以实现基于手工策略的存储优化,因此不可避免地要根据应用负载提供自适应的优化技术来应对。
智能存储管理(SSM)
)技术
着眼于两个核心,三个场景,四个技术和五个功能鉴于如何在异构环境中最大化不同硬件的性能优势所面临的挑战,以及存储数据类型多样化和支持分析负载的挑战作为应用程序负载的自适应优化,智能存储管理(SSM)提供了智能的L.solution。
什么是智能存储管理?
(SSM
从概念上讲,智能存储管理(SSM)定义为面向HDFS的智能管理体系结构,主要为新存储设备,高速网络和新计算机提供存储优化和数据优化解决方案,并实现端到端数据管理。可以概括为“两个核心,三个场景,四个技术和五个特征”。“两个核心” SSM的核心基于数据热量的智能管理,以实现整个生命周期的面向内存的自动优化。
在典型的应用场景中,80%的计算机工作负载通常用于处理20%的数据。在动态变化的环境中针对本地数据进行优化特别困难。
针对此问题,SSM收集文件系统的操作数据和状态信息,使用多个指标来分析数据访问模式,在文件级别定义数据受欢迎程度,并针对总体热信息计划优化数据管理方法。
在明智的决策方面,
SSM建立了基于规则的智能决策系统,并围绕现有的大数据存储模型开发了智能实用解决方案。将来,SSM目标将使用历史数据和指标的学习,以便系统可以使用预测性数据访问模式和永久学习的技能,并实现稳定和可持续的智能管理。
“三种情况”目前,SSM在三种典型的情况下进行游戏,例如B。在多存储模式下,发挥了杰出的作用。
SSM适用于具有广泛数据存储模式的应用程序场景,并提供有关数据优化的更灵活的存储模式选项
它带来了新功能,例如小文件集成,数据灾难恢复,数据压缩等,适用于需要数据优化和智能管理的应用场景
它是大型集群的自动化数据管理生命周期管理。
“四项技术” SSM主要通过四种技术来实现智能存储管理,包括使用分布式集群自治技术来解决管理服务的高可用性以实现存储管理集群的分散化以及使用分布式技术的事件驱动技术。高度导向轻量级计算服务和并发方案的监视机制提高了管理流程的效率和容错能力。
基于规则的智能存储管理技术解决了存储数据量大,数据增量大,数据类型混合,管理困难的问题,实现了数据生命周期的智能管理,解决了存储资源使用不均的问题。并利用数据热感知技术浪费资源,以达到冷,热等数据分层的目的。
“五个功能”基于用户方案,SSM最终包含在五种典型的功能增强中,主要包括以下几种:
异构存储的改进:将智能规则管理和对数据流行性的感知相结合,以充分利用异构存储访问的效率。
删除代码的改进:使用文件级别的副本,删除代码和删除代码,效率提高了30%,访问路径保持不变。
小型文件合并改进:自动检测小型文件,减少NameNode的压力,并提高读取性能。
自动数据灾难恢复:自动增量备份跨域数据;
透明的自动压缩:可选压缩模式,无感知压缩。通常,以数据发现和智能决策系统为核心的智能存储管理(SSM)为应用程序场景配置技术优化的整体解决方案(改进异构存储,改进擦除代码,小文件合并,自动灾难处理)自动智能地解决HDFS存储面临异构介质,存储空间和应用程序负载的挑战,并大大提高了HDFS分布式存储的可用性和应用场景。
基于智能存储管理(SSM)
)技术
浪潮云洞察
为您带来更好的体验作为公司级的大数据解决方案,用于从单一来源进行存储,数据处理和数据挖掘,大数据平台浪潮云海洞察采用了一种新的技术架构,该架构可以记录并可以记录大量公司数据,各种存储选项和可扩展性与计算,智能分析和挖掘等功能集成。支持企业数据中心业务模型的快速实施,并帮助公司转变为信息化和智能化。具体来说,云海洞察团队根据客户需求,结合业务场景,全面验证和改进智能存储管理技术(SSM),最终在大数据平台上生产了智能存储管理技术,包括一键式智能存储。安装,可视化的操作和维护以及基于票证的身份验证体系结构可满足用户对大数据平台备份和恢复,数据生命周期管理,小文件合并等技术的需求,并提供更好的用户体验。
例如,在客户的业务场景中,Yunhai Insight团队将过去两个月访问频率较高的数据定义为热数据,并使用三个副本进行存储;接下来四个月访问频率较低的数据定义为冷数据数据,使用删除代码存储。通过SSM对确定数据受欢迎程度和自动文件的完成以及从复制到擦除代码的转换的策略的定义,最终的总存储空间可节省三分之一,而无需更改业务,这极大地减少了提高了系统的数据可用性。
经过实用的多方审核,面向HDFS的智能存储管理技术无需外部触发器即可完成数据管理,并进一步细化管理粒度;一次规则调整即可完成数据生命周期管理解决方案并产生结果:
冷热数据在异构介质之间的快速迁移可以使数据访问效率提高两倍以上。
在复制和删除数据时,在数据存储之间进行自动快速转换可节省超过50%的存储空间。
通过透明的数据压缩,小文件的合并以及平台级别的自动数据备份和迁移,公司可以保持无知,并全面改善大数据平台的智能数据管理功能。
随着大数据和人工智能的密集发展,人工智能为存储管理开辟了无限的可能性,使用智能算法改善大数据规划和智能管理功能已成为技术发展的必然趋势,未来智能存储管理技术(SSM)将基于深度学习优化计算机框架,浪潮云海智能将进一步提高存储管理的整体智能水平,并为用户提供更好的解决方案。