Inter发布Gaudi 3 AI加速器,官方称其领先NVIDIA H00 50%
Memory

Inter发布新一代AI加速器Gaudi 3,对标NVIDIA H00,官方称Gaudi 3与NVIDIA H00对比,LLM大模型推理领先50%,训练时间领先40%,性价比超越NVIDIA高达200%。

Gaudi 3 制造工艺采用台积电5nm,MME高达8个,MME的TPC拥有8个,总数共计拥有64个,媒体编码器拥有14个。MME BF16/FP8都是1835 TFlops,矢量BF16为28.8 TFlops,较之前分别提升至320%、110%、160%。

开发方面,Gaudi 3 无缝兼容PyTorch框架、Hugging Face Transformer和扩展模型。

Gaudi3 支持三种形态部署,标准夹层版最高被动散热峰值功耗900W,液冷峰值功耗1200W;通用基板支持八颗Gaudi 3;HL-338扩展卡可四卡互联,PCIe 5.0 x16,被动散热峰值功耗600W。

图片来源于Inter
相关文章
全部评论
钱纪韫
发表评论
回复:
发表回复