钻石王小二 发表于 2010-1-22 10:04:19

IBM 高性能计算存储解决方案 (转载)

发布时间:2009-10-12   (http://www.bestbuyserver.com/register.do?aid=0)
      随着科技与应用的高速发展,高性能数据计算,广播级视音频数据处理,数据挖掘、在线交易处理等应用驱动着TB级的数据爆炸。同时,数据量的增加,带来了针对数据的管理,共享,分布,保护等实际需求,市场要求存储厂商不断推出适合需求的解决方案和产品。传统的服务器-客户机网络结构在性能、可管理性、连接性等方面都达到了极限,而SAN是解决这些问题的理想方案。

    一方面,今天的高性能计算环境不仅打破了几十年来Teraflop性能难以提升的困境,而且还以比单个大型超算计算机远低得多的成本来实现这一突破。 当数据内容和应用变得更复杂和先进时,存储就更需要突飞猛进。当集群进行每秒万亿次计算时,如何管理那巨大的数据卷是一个问题。 最近数年来,处理性能的快速提升也要求存储网络的性能也要得到相应的快速同步发展,这也是为何基于SAN的独立存储架构能够凭借高扩展的特性进入到高性能计算领域的原因之一。

    另一方面,现实应用中的高性能计算系统,计算节点动辄几十个,往往多达成千上百个。通过计算节点的扩展增加、硬件升级等手段使得集群系统的处理能力能够进一步增强,运算时间进一步缩短,这就对I/O环节的处理能力提出了挑战。但是连接存储设备的I/O节点个数通常有限,通过提高存储网络的速度和存储体本身的处理能力,能够显著提高I/O节点与存储设备之间的数据交换能力,从而提高整个高性能计算系统的计算效率。



         高性能计算大多采用大规模的并行运算,高性能计算机的架构主要以集群为主,整个高性能计算系统在硬件基础架构上包含计算资源、网络资源和存储资源三大部分。在目前主流的采用Linux并行集群架构的高性能计算系统中,计算资源分为计算节点和I/O节点,计算节点负责运行计算任务,I/O节点则负责数据的存储并响应计算节点的读写请求,不同计算资源节点之间通过高速网络进行通信和信息交换。

在此次方案中,我们选用的IBM Linux集群系统使用了基于Intel Xeon处理器的刀片服务器节点、成熟的集群管理软件、提供极高的持续带宽保证的存储服务器,集中了最好的IBM高性能设备和技术。不仅能在并行运算方面的性能得到保障,而且增强了集群系统的可管理性和可维护性。采用具有高可用性的IBM xSeries服务器,大大降低了总体成本。



         在计算节点的选择上,IBM建议采用Blade Center +HS22刀片, IBM BladeCenter 支持最新的Intel和AMD四核处理器,支持业界最快的高达4.0 GHz的Power 6处理器,以及专用于高性能计算的九核Cell处理器。IBM HS22是业界功能最强大的刀片,HS22采用最新的Intel Nahelem处理器,在集成了IBM BladeCenter传统的高可靠等优势的基础上,性能、功耗和虚拟化的功能都比上一代产品有了显著提升。

         IO节点采用IBM的DS5000和DCS9550/DCS9900,产品有众多的高速后端磁盘通道,能提供极高的持续带宽保证,非常适合做高性能计算环境下持续带宽要求极高的存储服务器,显著提高I/O节点的处理能力:

I/O节点是提供存贮共享的计算机。为了使任务可以并行执行,每台执行任务的计算机必须能够访问同样的数据,本方案存贮节点通过网络共享(NFS)或集群文件系统来确保数据访问的同步。

I/O节点和高性能存储直接相连,并通过自己的Fiber Channel I/O通道将冗余磁盘阵列上的多个分区做成集群并行文件系统GPFS,并向计算节点提供数个唯一路径且全局共享的文件系统。本方案提供高速的文档读写服务给所有计算节点, 特别适合于有可能会产生大文档的高性能应用上。

方案所用的两个系列存储服务器增加了后端磁盘通道,更适合高性能计算和流媒体应用对持续带宽保证,整体持续带宽性能地更高的要求。

下载附件
页: [1]
查看完整版本: IBM 高性能计算存储解决方案 (转载)