文章主题:人工智能, ChatGPT, 数据基础设施, 服务器
ChatGPT大模型的广泛应用引发了业界对人工智能应用的关注,其好坏取决于包括数据、算力和算法在内的三大要素。这些要素的基石则是由服务器、存储和网络等构成的数据基础设施。
至顶科技持续推出高质量访谈节目《论存储新技术 道数据新价值》,深入探讨数据背后的故事。在本期节目中,我们邀请到了宝德计算机系统股份有限公司总经理马竹茂、西部数据中国区技术支持高级总监宋磊以及至顶科技总经理高飞,以当前热门的ChatGPT为话题,共同探讨人工智能技术与应用的发展给数据领域带来的挑战与机遇,以及背后的数据基础设施需求。
AI带来的数据新机遇
为了充分发挥数据的价值,我们需要关注人工智能的三大核心要素:算力、算法和数据。将人工智能应用比喻为一个强大的机器,其算法如同机器的引擎,而算力则扮演着推动引擎加速的关键角色。在这其中,数据则是让引擎正常运转不可或缺的燃料。西部数据中国区技术支持高级总监宋磊精辟地阐述了AI三要素之间的相互关系。
在过去的几十年里,随着信息技术的快速发展,尤其是数据、计算能力和算法等方面的创新,IT基础设施也经历了显著的变革。以我国知名服务器制造商宝德公司为例,其二十多年的发展历程见证了这一领域的演变。早期以个人电脑为主导的局域网时代,对服务器的需求相对单一;然而,自2007年苹果公司推出智能手机,标志着移动互联网时代的来临,这不仅促进了云计算和数据中心行业的蓬勃发展,同时也带来了海量的非结构化数据,使得数据中心的存储需求日益增长。与此同时,为了满足这种需求,单个服务器的硬盘数量也发生了翻天覆地的变化,从早期的仅配置两块硬盘,到现在的大容量硬盘如24块、48块。这些变化充分展示了IT基础设施在数据、计算和算法等方面的创新成果。
与此同时,Gartner公司预计到2025年,AI生成的数据将占据整体数据量的10%。“AI技术的快速发展对服务器和存储市场带来了巨大的利益,尤其是诸如ChatGPT等应用,它们对算力的需求日益增长,这背后需要大量的AI服务器来支持。随着我国大型AI模型的应用逐渐推出,服务器的需求将进一步上升,这对于宝德计算机系统股份有限公司来说,无疑是一个巨大的利好消息。”该公司总经理马竹茂如此表示。
面向AI,数据基础设施新挑战
在”3060″双碳目标的推动下,我国对数据中心能耗效率值(PUE)的规定愈发严格。例如,”东数西算”工程便对西部地区的数据中心PUE值设定了明确的标准:低于1.2。其他地区的PUE值则应控制在1.25以下,而对于示范项目,这一标准更是降低至1.15。与此同时,每年所产生的数据量已经超过了人类过去几千年的数据总和。这种数据量的爆炸式增长,与AI应用的蓬勃发展相结合,给服务器的设计和创新带来了全新的挑战。
在概括总结中,我们不得不承认,AI应用在服务器领域面临着两个显著的挑战,其一是电力消耗大,其二是成本高昂。其中,电力消耗问题主要源于AI服务器中包含的GPU、TCU、NPU、XPU、FPGA等加速卡,这些部件的使用需要大量的电力支持。在过去,一台服务器的价格可能只有几万元人民币,但如今,如果想要在其上增加一块加速卡,价格可能就会升至几万元人民币。这就带来了成本方面的挑战。
在使用过程中,电力消耗增加的现象被称为“费电”。在人工智能服务器的内部构成中,除了CPU和价格低廉的硬盘外,还包含了如GPU等加速卡。如果所有服务器都能升级为AI服务器,那么从CPU到GPU将需要增加数百亿个晶体管,并带来几百瓦的额外发热功耗。这样的变化对于能耗需求巨大的数据中心来说,无疑是一项巨大的挑战,马竹茂先生对此进行了深入的解释。
而AI时代,不仅数据量爆炸式增长,而且对数据质量要求也越来越高。以ChatGPT 4.0来举例,它在训练时候使用到了45TB的数据,有近一万亿个数据量,数十亿行的源代码。大家都惊叹于ChatGPT流畅互动的界面,其背后是海量的知识量以及需要处理海量数据的算力。 “本质上讲数据的数量和质量决定了人工智能整体的落地水平。” 宋磊分享到。
要实现海量数据的存储和数据高质量的提取,不仅考验算力,也对硬盘的性能、容量、延迟等方面都提出更高的要求。“结合人工智能应用从数据角度来说,它的训练需要海量数据尤其是PB级的数据,需要更大的存储容量,同时在训练过程中这些数据写得少,读得多,还需要更高的吞吐量,以及对延迟、性能都有更高的要求。” 宋磊讲到。
面对AI新挑战,双方携手破局之道
一方面AI服务器面临的能耗挑战、成本挑战,另一方面在数据层面还面临对于大容量、高性能的存储需求,因此如何构建绿色高效、高速共享的AI服务器架构成为双方的应对之道。
“要打造智能化的计算平台,宝德发挥CPU+GPU异构设计优势,完成了人工智能训练和推理、高密度系列和大容量存储系列相关产品的扩展和升级,并且加大在自主研发、方案优化、专业服务和智能生产等方面的投入。”马竹茂表示。
针对功耗和成本,宝德AI加速服务器采用第四代英特尔至强可扩展处理器,来提供强大的计算能力,支持DDR5、PCIe 5.0和HBM,性能提升高达50%;同时可以支持24个2.5”SATA/SAS/NVMe和2个后置2.5 ”SATA/SAS热插拔硬盘,支持内置1个M.2(NVMe/SATA),保障了整机性能的强劲可靠;面向CPU+GPU异构设计,还具有智能散热系统,可以根据热关键器件的温度综合调节风扇转速;并支持液冷散热方案,可以有效减少数据中心客户的整体碳排放,显著降低客户TCO(总体拥有成本)。
面向AI应用,西部数据也用创新的思维重新审视存储的架构,根据数据的使用频率和场景,通过对数据进行分层存储,来实现成本、性能、能耗和扩展之间的平衡。
具体而言将数据分为极热数据、热数据、温数据、冷数据和极冷数据。极热存储适用于内存DRAM;热存储方面,用户希望快速访问高价值数据,进行业务的预测或决策等,适用于高性能SSD;温存储则代表了读取较频繁,有较高性能IOPS和带宽要求,主要以主流SSD或HDD为主;冷存储则是少量写入,多次读取,适用于高密度大容量的企业级硬盘,目前西部数据已推出22TB CMR HDD;极冷存储则用于大块写入,写入次数较少的数据保存,可以用SMR HDD来满足需求, 其最高容量能达到26TB。
以西部数据推出的HelioSeal氦气密封技术为例,西部数据Ultrastar系列企业级硬盘HDD 采用的第7代充氦气密封技术,实能够实现了更低功耗带来(W/TB) 更高功效。不仅如此,氦气填充硬盘还因为内部填充氦气,外部密封的独特优势,甚至能够在全浸没式液冷环境中稳定运行。实现了超大规模、云和企业级存储环境下,在提供高容量的同时,减少热排放,支持双碳减排;同时降低系统散热设计复杂性来实现运营成本的降低。
“通过数据分层存储,可以更好的和宝德这样的行业领先的解决方案提供商一起重新审视存储架构,一起为客户提供按需分配的创新的存储解决方案。” 宋磊讲道。
访谈最后,双方表示将继续在产品、技术、市场等方面进行持续合作。在产品上,西部数据会第一时间把最新的产品应用到宝德的服务器上;在技术上,双方联合实验室持续优化解决客户面临的存储问题。“硬盘很小,但是很复杂和精密,服务器上的风扇选的不对,风力都会影响到机械硬盘的稳定性、读写速度。” 马竹茂讲到。在市场上,双方将联合推进包括巡展、客户交流等市场活动。实现通过全面合作,来持续为用户提供领先的解决方案,加速企业数字化转型。
欢迎观看完整版视频,了解更全面的内容:
https://www.zhiding.cn/special/westerndigital_2022_PowerLeader
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!