三星打造集成 AI 处理硬件的 RAM

处理单元（CPU、GPU 等）和 RAM 通常是独立的东西，构建在不同的芯片上。但如果它们是同一芯片的一部分，混合在一起会怎么样？三星正是这样做的，创造了世界上第一个内置 AI 处理硬件的高带宽内存 (HBM)，称为 HBM-PIM（内存处理）。

它采用了 HBM2 Aquabolt 芯片，并在内存库之间添加了可编程计算单元 (PCU)。这些单元相对简单，使用有限的指令集对 16 位浮点值进行操作 - 它们可以移动数据并执行乘法和加法。

PCU 与内存组混合 • PCU 是一款功能非常有限的 FP16 处理器

但 PCU 数量众多，它们实际上就位于正在处理的数据旁边。三星设法让 PCU 以 300 MHz 的速度运行，相当于每芯片 1.2 TFLOPS 的处理能力。并且它保持了（每芯片）功耗不变，同时以每针 2.4 Gbps 的速度传输数据。

每个芯片的功耗可能相同，但整体系统能耗下降了 71%。这是因为典型的 CPU 需要移动数据两次 - 读取输入然后写入结果。使用 HBM-PIM，数据实际上不会移动到任何地方。

这不仅仅是省电，研究人员使用 PIM 进行机器学习和推理任务时发现系统性能提高了一倍以上。这是一个双赢的局面。

HBM-PIM 设计向后兼容常规 HBM2 芯片，因此无需开发新硬件 - 软件只需要告诉 PIM 系统从常规模式切换到内存处理模式。

这样做有一个问题，那就是 PCU 占用了之前内存组占用的空间。这导致总容量减半——降至 4 千兆位。三星决定折中这一差额，将 4 千兆位 PIM 芯片与 8 千兆位常规 HBM2 芯片结合起来。使用其中四个，它创建了 6 千兆字节堆栈。

还有一些坏消息——HBM-PIM 还需要一段时间才能应用于消费硬件。目前，三星已将芯片发送给开发 AI 加速器的合作伙伴进行测试，预计该设计将在 7 月得到验证。

HBM-PIM 将于本周在国际固态电路虚拟会议上展出，因此我们可以期待届时获得更多细节。

来源 | Via