芯耀
与非AI
500
过去10年，GPU算力涨了1000倍，显存带宽只涨了30倍。你的H100大部分时间不是在计算——是在等数据。HBM是整个AI芯片产业链上最贵、最卡脖子、也最赚钱的环节之一。一颗B200的BOM成本里，HBM3e占了将近一半。这篇文章把HBM从原理到产业格局讲透。
一、存储墙：算力再强，数据供不上也是白搭
1.1 冯诺依曼架构的死结
所有现代计算机都基于冯诺依曼架构：计算单元和存储单元是分离的。数据存在内存里，CPU/GPU要算的时候从内存加载，算完了写回去。
这个架构有一个天生的矛盾：计算单元越来越快，存储单元跟不上。过去十年，GPU的FP16算力从P100的21 TFLOPS涨到B200的4500 TFLOPS，翻了200多倍。但显存带宽从P100的732 GB/s涨到B200的8 TB/s，只翻了约11倍。
差距越拉越大。结果就是：GPU有大量时间在"等数据"——ALU空转，利用率不到50%。
这叫"存储墙"（Memory Wall）。用Roofline模型来理解：芯片的实际性能，受限于两个天花板——峰值算力（Compute Roof）和内存带宽（Memory Roof）。当你的工作负载是计算密集型（比如大矩阵乘法），性能受算力天花板限制；当你的工作负载是访存密集型（比如Attention里的Softmax、LayerNorm），性能受带宽天花板限制。
不幸的是，大模型的推理过程中，访存密集型操作占比极高。KV Cache的读写、Attention Score的计算——每一步都在考验显存带宽。
1.2 为什么GDDR不够用
传统GPU用GDDR（Graphics DDR）做显存。GDDR的思路是"把数据线做宽、频率拉高"——GDDR6X已经跑到19.5 Gbps的pin速率、384-bit的总线宽度。
但GDDR有一个物理天花板：芯片边上的引脚数量是有限的。一颗GPU封装周围只能放那么多GDDR颗粒，每个颗粒只有32-bit的数据总线。就算摆满12颗GDDR6X，总位宽也只有384-bit。在这个位宽下，要达到HBM级别的TB/s带宽，pin速率需要跑到不现实的频率。
HBM的解法完全不同：不往芯片边上放，而是往上堆。
二、HBM怎么工作的
2.1 3D堆叠 + 硅通孔
HBM的核心是3D堆叠。把多层DRAM芯片像盖楼一样垂直叠起来，每层之间用TSV（Through-Silicon Via，硅通孔）连接。最底部是一颗逻辑die（Base Die），负责和GPU通信。
• 最顶层 → 第12层 DRAM Die
• ……（中间10层DRAM Die，每层之间通过TSV + 微凸点连接）
• 第1层 DRAM Die
• 最底层 → 逻辑Die（Base Die，含PHY接口和控制器）
• 下方 → 硅中介层（Silicon Interposer）→ 连接到GPU Die旁边
TSV是HBM最关键的技术。它在芯片上打几千个微米级的垂直孔，填充铜或其他导电材料，实现层与层之间的垂直互连。HBM3E的TSV数量比HBM2E多了6倍，信号路径大幅缩短，IR Drop（电压降）降低了75%。
这个架构带来了两个关键优势：
位宽极大。HBM3E有1024根数据线（1024-bit接口），HBM4翻倍到2048-bit。作为对比，GDDR6X只有32-bit per颗粒。位宽大意味着不需要把频率拉得很高就能获得巨大的总带宽——HBM3E每pin跑9.2-12.4 Gbps，在1024-bit位宽下总带宽就能超过1.2 TB/s。
功耗极低。因为数据线短（垂直堆叠，信号路径只有微米级），驱动功耗远低于横跨PCB走线的GDDR。HBM3E相比HBM2E，每瓦性能提升了2.5倍。
2.2 六代HBM参数演进
| 代际 | JEDEC标准 | 发布时间 | 位宽 | 每pin速率 | 单堆栈带宽 | 最大容量 | 堆叠层数 | 通道数 | 电压 |
|---|---|---|---|---|---|---|---|---|---|
| HBM1 | JESD235 | 2013 | 1024-bit | 1.0 Gbps | 128 GB/s | 4 GB | 4层 | 8 | 1.2V |
| HBM2 | JESD235A | 2016 | 1024-bit | 2.4 Gbps | 307 GB/s | 8 GB | 4/8层 | 8 | 1.2V |
| HBM2E | JESD235C | 2018 | 1024-bit | 3.6 Gbps | 460 GB/s | 16 GB | 8层 | 8 | 1.2V |
| HBM3 | JESD238 | 2020 | 1024-bit | 6.4 Gbps | 819 GB/s | 16 GB | 8/12层 | 16 | 1.1V |
| HBM3E | JESD238A | 2023 | 1024-bit | 9.2-12.4 Gbps | 1.2-1.33 TB/s | 36 GB | 8/12层 | 16（32伪通道） | 1.1V |
| HBM4 | JESD270-4 | 2025 | 2048-bit | 6.4-12.8 Gbps | 2.0-3.3 TB/s | 64 GB | 4/8/12/16层 | 32（64伪通道） | 1.05V |
数据来源：JEDEC标准文档（JESD235/238/270系列）、SK海力士/三星/美光官方产品规格。HBM4为JEDEC标准定义的理论上限，实际产品规格可能因厂商而异。
从HBM1到HBM4，12年时间：带宽从128 GB/s涨到3.3 TB/s（25倍），最大容量从4 GB涨到64 GB（16倍），通道数从8涨到32，电压从1.2V降到1.05V。
最关键的两个跳跃：
HBM2E→HBM3：通道数翻倍。从8通道变16通道，虽然每个通道的带宽没怎么变，但并行度翻了一倍。这代开始HBM真正成为了大模型训练的标配——A100用HBM2E还能凑合，H100必须上HBM3。
HBM3E→HBM4：位宽翻倍。1024-bit变2048-bit，单堆栈理论带宽从1.33 TB/s跳到3.3 TB/s。代价是——不兼容。HBM4需要全新的PHY接口和内存控制器，不能直接替换HBM3E。这意味着所有用HBM4的芯片（包括NVIDIA Rubin）都需要重新设计内存子系统。
2.3 NVIDIA历代GPU的HBM配置
| GPU | 架构 | 发布年 | HBM版本 | HBM堆栈数 | 总容量 | 总带宽 | 单卡TDP |
|---|---|---|---|---|---|---|---|
| P100 | Pascal | 2016 | HBM2 | 4 | 16 GB | 732 GB/s | 300W |
| V100 | Volta | 2017 | HBM2 | 4 | 32 GB | 900 GB/s | 300W |
| A100 | Ampere | 2020 | HBM2E | 5 | 80 GB | 2.0 TB/s | 400W |
| H100 | Hopper | 2022 | HBM3 | 5 | 80 GB | 3.35 TB/s | 700W |
| H200 | Hopper | 2023 | HBM3E | 6 | 141 GB | 4.8 TB/s | 700W |
| B200 | Blackwell | 2024 | HBM3E | 8 | 192 GB | 8.0 TB/s | 1000W |
| B300 | Blackwell | 2025E | HBM3E | 8 | 288 GB | 8.0 TB/s | 1200W |
| Rubin | Rubin | 2026E | HBM4 | — | — | — | — |
数据来源：NVIDIA各代GPU官方规格表及行业报道。B300/Rubin为预计规格。
两个值得关注的变化：
HBM堆栈数持续增加。P100只有4个HBM堆栈，B200堆了8个。每个堆栈需要紧贴GPU die放置（通过硅中介层连接），堆栈数越多，对先进封装（CoWoS）的面积和良率要求越高。8个HBM堆栈 + 2个GPU die，B200的CoWoS封装面积已经是P100的5倍以上。
HBM成本占比飙升。B200的BOM成本约$6,400，其中HBM3e（192 GB）占了$2,800-3,100——将近一半。也就是说，一颗B200最贵的不是GPU die，是显存。这也是为什么NVIDIA毛利率能做到81%——HBM是外购的，不占毛利。
三、三大厂争霸
3.1 市场格局
| 厂商 | 2025年HBM市占率 | 2026年HBM市占率(E) | HBM收入占DRAM总收入 | HBM4进度 | 主力客户 | 核心优势 |
|---|---|---|---|---|---|---|
| SK海力士 | ~50-55% | ~50% | 44%→预计超50% | 12层样品已展示，2026H2量产 | NVIDIA（最大客户） | MR-MUF封装、HBM3E先发优势 |
| 三星 | ~35-40% | ~35% | ~30% | 2026年已通过NVIDIA认证 | AMD/其他云端厂商 | TC-NCF封装、全产业链整合 |
| 美光 | ~5-10% | ~10-15% | ~25% | 2026年已通过NVIDIA认证 | NVIDIA（HBM3E） | HBM3E弯道超车、美国本土产能 |
数据来源：TrendForce HBM Industry Analysis (1Q26)、SiliconAnalysts、各厂商财报。市占率为近似值。
SK海力士是HBM的绝对王者。它是最早量产HBM3E的厂商（2024年），拿下了NVIDIA H200/B200的绝大部分订单。2025年HBM收入占DRAM总收入的比例飙升到44%，2026年预计超过50%——HBM已经取代传统DDR成为SK海力士最重要的收入来源。
三星的处境比较微妙。它是最早宣布HBM4的厂商之一，但在HBM3E阶段落后于SK海力士，被NVIDIA压了一阵子。转折点是2026年6月——Jensen Huang在公开场合确认三星通过了NVIDIA的HBM4认证，这意味着三星在下一代产品上不会掉队。
美光是最有意思的玩家。它在HBM市场长期是"老三"，份额只有5-10%。但美光用HBM3E实现了弯道超车——跳过HBM3，直接量产HBM3E，而且拿下了NVIDIA的部分订单。2026年HBM4同样通过了NVIDIA认证。美光的策略是押注下一代、跳过上一代，用技术代差弥补市场地位的差距。
3.2 HBM4的关键变化
HBM4不是简单的"HBM3E带宽翻倍"。它在架构上做了几个根本性改变：
2048-bit接口。位宽翻倍意味着物理设计复杂度暴涨。PHY接口需要两倍的I/O引脚，芯片的 bump map 要重新设计。这也是为什么HBM4不兼容HBM3E——物理层完全不一样。
逻辑die集成。HBM4在Base Die里集成了更多的逻辑功能——不仅仅是PHY和控制器，还可能包括简单的数据处理单元。这让HBM从"被动存储"向"主动协处理器"转变。三星已经在演示把部分计算任务卸载到HBM的逻辑die上执行。
16层堆叠。HBM3E最大12层，HBM4支持到16层。更多的层数意味着更大的容量（单堆栈最高64GB，用32Gb层），但也意味着更难的散热——16层DRAM叠在一起，中间层的热量很难散出去。热管理是HBM4量产最大的工程挑战之一。
三家全部通过NVIDIA认证。2026年6月5日，NVIDIA确认SK海力士、三星、美光三家全部获得HBM4供应认证。这是HBM历史上第一次三大厂在同一年代同步供货——对NVIDIA来说意味着供应安全，对三大厂来说意味着竞争会更激烈。
四、AI芯片的存储方案全景
HBM不是唯一的选项。不同的AI芯片场景，存储方案的选择逻辑完全不同。
| 方案 | 带宽 | 容量 | 功耗 | 成本 | 典型场景 | 代表产品 |
|---|---|---|---|---|---|---|
| HBM3E | 1.2-1.33 TB/s per stack | 24-36 GB per stack | 低（3D堆叠短路径） | 极高（$2,800+/堆栈） | 大模型训练、高端推理 | B200、MI300X |
| HBM4 | 2.0-3.3 TB/s per stack | 最高64 GB per stack | 更低（1.05V） | 极高（新品溢价） | 下一代大模型训练 | Rubin（预计） |
| GDDR7 | ~1.5 TB/s（384-bit，32Gbps） | 24-48 GB（12×4GB） | 中高 | 中（$200-400/颗） | 中端推理、游戏GPU | RTX 5090 |
| LPDDR6 | ~200 GB/s（128-bit） | 16-64 GB | 极低 | 低 | 端侧推理（手机/笔记本） | Apple M4、骁龙 |
| CXL内存池 | 取决于PCIe/CXL带宽 | TB级（可扩展） | 中（额外网络开销） | 中 | 大模型推理（KV Cache扩展） | 三星CMM-D |
| 存内计算 | 极高（消除数据搬运） | 有限 | 极低 | 研发阶段 | 未来推理加速 | Mythic、知存科技 |
数据来源：JEDEC标准、各厂商产品规格、行业研报。GDDR7/LPDDR6为基于标准的典型值估算。
一个值得关注的趋势：CXL内存池化正在成为大模型推理的重要补充。大模型推理的KV Cache非常吃内存容量——一个175B参数的模型，KV Cache可能吃掉几百GB。HBM容量有限（B200才192GB），CXL可以把多台服务器的DDR内存池化共享，作为HBM的"二级缓存"。三星的CMM-D（CXL Memory Module）已经在多个云厂商的数据中心测试，延迟虽然比HBM高，但容量可以轻松扩展到TB级。
五、国产HBM：最卡脖子的一环
5.1 差距在哪
| 维度 | 国际主流（SK海力士/三星/美光） | 国产（长鑫存储） | 差距 |
|---|---|---|---|
| 当前量产 | HBM3E（第5代） | HBM3工程样品 | 约1代 |
| 堆叠层数 | 8-12层 | 7层 | 接近 |
| 单颗容量 | 24-36 GB | 24 GB | 持平 |
| 带宽 | 1.2-1.33 TB/s per stack | >800 GB/s per stack | 约65% |
| 成本 | 基准 | 高出约40% | 明显劣势 |
| HBM4路线图 | 2026H2量产 | HBM3E目标2027年 | 约2代 |
| DRAM工艺 | 1β/1γ（12-14nm级） | G4（16nm级） | 约1-2代 |
数据来源：长鑫存储公开信息、行业研报及科技媒体报道综合。国际厂商数据基于公开产品规格。
国产HBM的核心瓶颈不在堆叠层数——7层和12层的差距可以通过封装工艺追赶。真正的差距在三个地方：
DRAM工艺落后1-2代。HBM的底层DRAM单元和传统DDR是同一个工艺平台。长鑫的G4工艺是16nm级别，而三星和SK海力士已经到1β（12-14nm级）。更先进的DRAM工艺意味着更小的单元面积、更低的功耗、更高的良率——这些直接决定了HBM的成本和性能。
TSV良率。12层堆叠意味着每颗HBM要打几千个TSV孔，任何一个孔出问题都会导致整颗芯片报废。SK海力士的TSV良率经过十几年打磨，长鑫在这方面还处于早期爬坡阶段。
封装设备。HBM制造需要专用的TCB（热压键合）设备和MR-MUF（批量回流模制底部填充）设备，这些设备的核心供应商在日本和韩国，对中国大陆有限制。
5.2 突围的希望
几个积极的信号：
长鑫+长江联合攻关。2025年9月，长鑫存储和长江存储宣布合作开发HBM：长鑫提供DRAM技术基础，长江的Xtacking键合工艺用于提升HBM的带宽和散热。Xtacking是长江存储的独门技术——把逻辑电路和存储阵列分开制造再键合，理论上可以显著提升HBM的I/O性能。
长鑫已向华为交付HBM3工程样品。据行业报道，长鑫存储的HBM3样品已在华为昇腾平台上进行验证。深科技的HBM3E封装产品也已通过华为昇腾、海光信息等头部AI芯片厂商的样品验证。"国产AI芯片+国产HBM"的技术闭环正在形成。
产能正在扩张。长鑫存储2026年计划实现HBM3全面量产，2027年目标攻克HBM3E。虽然比国际大厂慢，但进度在加速——原本计划2026年才开始开发HBM2，实际2025年已经交付HBM3样品。
5.3 中国存储产业链全景
| 企业 | 领域 | 核心产品 | 2025/2026进展 | 市场地位 |
|---|---|---|---|---|
| 长鑫存储 | DRAM + HBM | DDR4/DDR5/LPDDR5、HBM3 | HBM3样品交付华为，2026年量产 | 中国第一、全球第四DRAM |
| 长江存储 | 3D NAND + 键合 | 3D NAND Flash、Xtacking | 与长鑫合作HBM，Xtacking工艺输出 | 全球前五NAND |
| 澜起科技 | 内存接口芯片 | DDR5 RCD/DB、CXL MXC | CXL内存扩展控制器量产 | 全球DDR5接口芯片前三 |
| 兆易创新 | NOR Flash + DRAM | NOR Flash、利基DRAM | DRAM产品线拓展 | 全球NOR Flash前三 |
| 聚辰股份 | EEPROM | SPD EEPROM（内存条配置芯片） | DDR5 SPD随DDR5渗透率提升 | 全球EEPROM前三 |
| 深科技 | 存储封测 | DRAM/NAND封装、HBM封测 | HBM3E封装通过华为验证 | 国内存储封测龙头 |
| 江波龙 | 存储模组 | SSD、内存条、嵌入式存储 | 企业级SSD进入互联网大厂 | 国内存储模组龙头 |
数据来源：各企业年报/招股书及行业公开信息。市场地位为基于公开数据的近似评估。
六、面试考点与求职方向
6.1 面试高频考点
• Roofline模型：给定算力和带宽，判断一个工作负载是Compute-bound还是Memory-bound
• 带宽需求推导：以LLaMA-2 70B推理为例，估算生成每个token需要读取的参数量和KV Cache量，计算最小带宽需求
• 存储层次设计：Register → L1 → L2 → HBM → CXL/NVMe，各级容量和带宽的配比逻辑
• TSV的工作原理和工艺挑战（深宽比、热膨胀系数匹配、良率）
• HBM3E vs HBM4的接口变化：为什么HBM4不兼容HBM3E？
• 为什么HBM的功耗比GDDR低？——短物理路径 + 低电压 + 低频率高并行
• HBM的散热挑战：3D堆叠的热耦合、中间层的热传导路径
• DRAM单元结构（1T1C），刷新机制，为什么需要刷新？
• Row Buffer命中/未命中的延迟差异
• Bank、Rank、Channel的组织层级
• HBM的伪通道（Pseudo Channel）设计——为什么HBM3E有32个伪通道但只有16个物理通道？
6.2 岗位与薪资
| 岗位方向 | 做什么 | 核心技能 | 应届硕士（年薪） | 3-5年 | 缺人程度 |
|---|---|---|---|---|---|
| DRAM设计 | DRAM单元设计、阵列架构、刷新控制 | 模拟IC、半导体物理、Cadence | 30-50万 | 55-90万 | 比较缺 |
| HBM架构 | HBM堆叠架构、TSV设计、PHY接口 | 3D IC设计、信号完整性、热分析 | 35-55万 | 70-130万 | 极度缺 |
| 内存控制器 | DDR/HBM控制器RTL设计 | Verilog、AMBA、DDR协议 | 30-45万 | 55-85万 | 比较缺 |
| 先进封装 | HBM封装的TSV/微凸点/底部填充 | 封装工艺、TCB/MR-MUF设备、可靠性 | 28-45万 | 50-80万 | 比较缺 |
| CXL/互联 | CXL协议栈、内存池化架构 | PCIe/CXL协议、系统架构 | 30-50万 | 60-100万 | 一般 |
薪资数据综合自CSDN 2026版硬件工程师薪资全景、Boss直聘/猎聘2026Q1-Q2公开岗位及行业猎头访谈。为税前年薪（含奖金）大致区间。
最后
HBM是整个AI芯片产业链上最"闷声发大财"的环节。NVIDIA一张B200卖3-4万美元，但成本里将近一半是HBM——SK海力士、三星、美光才是真正的"军火商"。
对芯片行业从业者来说，HBM方向有三个值得长期押注的理由：一是需求确定性高——只要AI算力需求在涨，HBM的需求就在涨，而且HBM的容量和带宽需求比算力涨得更快；二是技术壁垒高——HBM涉及DRAM设计、3D堆叠、TSV工艺、先进封装、热管理、高速SerDes，跨学科门槛极高，不容易被替代；三是国产化空间大——长鑫+长江的联合攻关如果能突破，整个国产AI芯片产业链的最后一个"卡脖子"环节就被打通了。
面试HBM方向，别只背参数。面试官更想听到的是：你能从物理层面解释为什么HBM比GDDR功耗低，能从系统层面分析大模型推理的带宽瓶颈在哪，能从产业链层面讲清楚国产HBM和国际大厂的差距根源。
下期预告：第5篇——先进封装：AI芯片真正的"堆料"战场。CoWoS、EMIB、Foveros三大路线深度拆解，以及一颗B200的封装截面图全分析。
本文综合来源：JEDEC JESD235/238/270系列标准文档、SK海力士/三星/美光官方HBM产品规格、NVIDIA各代GPU官方规格表、TrendForce HBM Industry Analysis (1Q26)、Google Cloud TPU v7官方文档、长鑫存储/长江存储/澜起科技/深科技等企业公开信息、CSDN 2026版硬件工程师薪资全景、硅分析(SiliconAnalysts) HBM市场分析、EE Times/Blocks & Files CES 2026 HBM4报道。
