运行AI模型的价格低至5000美元勇敢的CPU初创公司声称AI成本节省了
CPU初创公司Tachyum此前曾表示,其Prodigy通用处理器单元之一可以与数十个NvidiaH200GPU相媲美。这款192核5纳米处理器的性能是云工作负载最佳处理器的4.5倍,据称其AI效率是GPU的六倍。
现在,该公司宣布推出ProdigyATX平台,这是一款AI工作站,承诺运行先进的AI模型,价格仅为5,000美元。这个雄心勃勃的系统具有令人印象深刻的1TB内存,旨在让更广泛的受众能够访问复杂的。
ProdigyATX平台围绕96核Prodigy处理器构建,该处理器的设计只启用了一半的芯片,这一策略旨在降低功耗和提高产量,从而降低成本并使平台更易于使用。
该系统预计将配备1TBDDR5-6400SDRAM,使用16个内存模块,提供819.2GB/s的峰值带宽。该系统的设计包括三个PCIex165.0插槽、三个带有PCIe5.0x4接口的M.2-2280NVMe插槽以及用于SSD和HDD的SATA连接器。
Tachyum表示,其ProdigyATX平台对于运行因其高内存容量要求而臭名昭著的LLM特别有效。
据报道,单个Prodigy系统可以运行具有1.7万亿个参数的ChatGPT4模型,这需要52个NVIDIAH100GPU才能运行,成本和功耗明显更高。
尽管规格令人印象深刻,但针对Tachyum的ProdigyATX平台的经济可行性仍存在疑问。正如Tom'sHardware指出的那样,系统组件的总成本(不包括Prodigy处理器)估计约为4800美元。不过,Tachyum首席执行官RadoslavDanilak博士仍然乐观,他表示该平台强大的AI功能将使各种规模的组织能够在AI计划中展开竞争。
“生成式人工智能的广泛应用将远远快于任何人最初的预期,”丹尼拉克博士说。“在一两年内,AI将成为网站、聊天机器人和其他关键生产力组件的必需组件,以确保良好的用户体验。Prodigy强大的AI功能使LLM比现有的CPU+GPGPU运行起来更加轻松且更具成本效益-基于系统,使各种规模的组织能够在人工智能计划中展开竞争,否则这些计划将由行业中最大的参与者主导。”
ProdigyATX平台的推出已多次推迟,最新计划将该处理器的推出时间定在2024年下半年。Tachyum能否兑现承诺并彻底改变AI格局还有待观察。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。