8颗24GB落地192GB统一内存|晶存LPDDR5X助力极摩客EVO-X5 Pro

来源:晶存科技 #晶存科技# #LPDDR5#
2252

单颗24GB容量、最高9600Mbps数据速率,晶存科技LPDDR5X进一步拓展高性能端侧AI终端的内存配置空间。面向本地大模型推理、AI Agent、多任务并行与专业创作,晶存科技通过大容量、高速率、低功耗及多规格产品组合,为终端厂商提供适配不同平台与设备形态的内存选择。

近日,晶存科技为极摩客(GMKtec)EVO-X5 Pro桌面AI超算工作站提供24GB LPDDR5X内存颗粒。该机搭载AMD锐龙AI Max+ PRO 495处理器,采用8颗晶存内存颗粒组成192GB统一内存,面向本地大模型推理、AI Agent、专业创作及企业本地化部署等场景。在适配的模型、量化方式及软件配置下,该机可支持最高320B参数大模型的离线推理。

单颗24GB 

同样8颗实现50%容量提升

大容量配置首先来自单颗产品能力的提升。此前,晶存科技为极摩客EVO-X2的128GB版本提供8颗16GB LPDDR5X颗粒。此次EVO-X5 Pro采用8颗24GB颗粒,在内存颗粒数量不变的情况下,整机容量增加64GB,提升50%。

对于AI Mini PC、紧凑型工作站等设备,提升单颗容量,有助于在有限的主板布局中实现更大的内存配置。这一容量提升,也回应了本地AI应用对大容量内存的需求。模型运行需要同时容纳权重数据、上下文缓存、推理框架及应用程序。

以300B参数模型为例,按每个参数4-bit进行简化估算,仅权重数据就约为150GB,量化元数据、缓存与运行框架还会产生额外占用。这也说明,大模型本地部署对内存容量的需求可以达到百GB级。

192GB统一内存为模型权重、缓存及运行框架提供了更充足的空间。该内存配置也应用于极摩客展示的5台及20台EVO-X5 Pro多节点方案,对应集群的物理内存总量分别最高达960GB和3.84TB。

最高9600Mbps 

为高带宽应用提供器件支持

模型能够装入内存之后,还需要持续向计算单元供给数据。大模型推理、图形计算和多媒体处理中的数据访问,使内存传输能力成为影响应用表现的重要因素。

晶存此次供应的24GB LPDDR5X颗粒最高支持9600Mbps;在EVO-X5 Pro中,结合AMD平台支持规格,整机内存以8533MT/s运行。

按8533MT/s与256位内存总线计算,该平台理论峰值带宽约为273GB/s。相比前代平台8000MT/s下约256GB/s的理论峰值,提升约6.7%。这一变化体现平台的数据传输能力升级,具体应用性能取决于模型、访问方式与软件实现。

多容量、多DQ、多封装

适配不同终端设计

晶存科技LPDDR5/5X系列已形成覆盖1GB至32GB容量、DQ 16/32/64,以及FBGA245、FBGA315、FBGA496封装的产品布局。终端厂商可结合主控接口、容量目标与主板空间进行选型,满足不同设备的设计需求。

面向AI PC、紧凑型工作站与边缘计算设备,晶存LPDDR5X可为本地大模型推理、企业知识库、AI Agent及专业创作等任务提供内存支持。此次EVO-X5 Pro内存方案的落地,也进一步拓展了晶存LPDDR5X在新一代AMD平台上的应用。

责编: 爱集微
来源:晶存科技 #晶存科技# #LPDDR5#
THE END
关闭
加载

PDF 加载中...