应用场景
高性能计算(High performance computing,缩写HPC)指通常使用很多处理器(作为单个机器的一部分)或者某一集群中的多台计算机(作为单个计算资源操作)的计算系统和环境。HPC应用的主要领域是科学与工程计算,诸如高能物理、核爆炸模拟、气象预报、石油勘探、地震预报、地球模拟、药品研制、CAD设计中的仿真与建模、流体力学的计算等。随着云计算和大数据技术的不断成熟和广泛应用,HPC已经渗透到HPDA和HPCCloud领域。
有许多类型的HPC系统,不同的高性能计算应用具有不同的应用特征,相应的对于计算、网络和存储等方面有着不同的要求,应用于石油勘探、地震资料处理、气象、动漫渲染以及生命科学等领域的高性能计算系统,面对海量数据需要解决后端数据集中存取的1/0瓶颈。以石油物探应用为例,地震资料处理数据的特点及对存储的要求主要体现在:
1、统一命名空间
不同的计算节点都要到这个统一命名空间中读取数据,存放、读取中间数据,存放结果数据;
2、数据量大
初始数据几+TB,中间数据是初始数据的10~20倍,但成果数据的大小却仅有初始数据的0.5~1%左右;
3、带宽要求高
计算节点和存储节点的数据交互次数不频繁,但是数据量大,即对带宽和存储节点的带宽要求高;
4、可靠性要求高
中间致据和结果数据都是珍贵数据,是通过大量的时间和资源的投入得出来的,所以对存储的可靠性要求高;
5、扩展性高
不同任务的计算集群,共用一个存储系统,避免数据迁移。
6、易用易管理
单一命名空间;存储资源可以员活的划分给不同的计算任务(计算节点);维护简单;配额管理
7、数据归档要求
中间数据和结果数据经过生命周期后,很少被访问,有归档需求。
解决方案
希捷Exos X5U84高密度存储系统具有极高的系统性能以及合理的架构。Exos X 5U84 提供7GB/s的顺序读和5.5GB/s的顺序写能力吞吐,为大容量存储系统的带宽提供保障。 ExosX 5U84存储系统可以支持高端336片3.5寸大容量硬盘,如果配置18TB硬盘,系统最大容量高达5.3PB,可满足苛刻的性能和容量需求。
希捷自修复存储系统采用4U106规格机箱,配置106块18T硬盘,容量高达1.91PB,采用希捷ADAPT纠测技术,支持磁盘自修复和快速磁盘重建,提供14GB/s的顺序读和12GB/s的娘序写能力吞吐。
上述产品与第三方并行文件系统如GPFS或Lustre结合,可以完美地满足高性能计算对于存储系统的苛刻要求。此外,它凭借全冗余的1/0路径、高级保护特性以及广泛的诊断功能,可确保数据的最高可用性、完整性和安全性。
方案拓扑图及方案优点
1、高性能
能够提供稳定聚合带宽以及高速文件查询,大幅度减少计算任务的数据IO时间,提高集群的工作效率。通过增加IO节点和存储,带宽可线性增涨,满足大规模数据并行读写要求;
2.可扩展的海量存储空间
可在业务系统不间断的情况下,通过增加存储节点设备的方式扩展容量至PB级,使得高性能计算集群可以存放大量的计算素材和计算结果;
3.全局数据共享
提供单一系统映象,所有IO节点共享同一文件系统视图,使得所有计算节点能即时获取所需的数据,无需进行数据迁移,大幅度提高了集群的使用效率,支持负载均衡,单点故障容错。
