随着大语言模型(LLM)的参数量向万亿级别迈进,AI 算力基础设施的建设正迎来一场前所未有的“物理大考”。在当前的商业部署中,尽管企业通过采购最先进的 GPU 来堆叠算力,但芯片间数据传输的“铜互连”物理极限已经像一道坚固的红线,限制了整体计算效率的释放——这就是半导体行业正极力挣脱的**“内存墙”(Memory Wall)**。
虽然现阶段的商业市场依然由传统的 HBM(高带宽内存)和铜线网络主导,但科技巨头和风投资本早已将目光投向了下一代硬件架构。
这些被誉为“另辟蹊径”的前沿技术,目前多处于**“量产前夕、产业验证或巨头早期卡位”**的非完全普及阶段。本文将从第一性原理出发,为您拆解光通信/硅光、存内计算(PIM)与玻璃基板三大前沿方案的商业化进度、技术瓶颈,为关注 AI 算力领域的产业投资者与技术决策者提供一份前瞻性参考。
一、 第一性原理:为什么说“电传输”到了投资红利期的尾声?
根据计算的第一性原理,算力的本质是处理器对数据的高速转换。要在宏观上提升 AI 集群的吞吐量,必须同时提升“计算速度”与“数据搬运速度”。
在过去几十年中,逻辑芯片的算力提升了数万倍,但数据从存储器传输到处理器的带宽增长却极其缓慢。电信号(铜导线)在极高频率和高集成度下,面临着无法调和的物理死结:
- 阻抗与衰减: 频率越高,信号衰减越严重,为了保证信号完整性,数据传输距离必须缩短至毫米级。这直接限制了计算芯片与存储芯片的物理拓扑。
- 焦耳热与功耗: 电在铜线中传输会因电阻而发热。数据显示,在超大型计算集群中,仅仅是将数据在芯片与存储之间“搬运”,就消耗了整体系统 60% 以上的能量。
- 引脚密度极限: 传统的有机封装基板无法在微小的芯片面积上承载更密集的电引脚,限制了带宽的进一步增加。
当电信号在铜线内的传输效率触及物理极限时,AI 算力硬件的投资逻辑正从**“优化晶体管算力”加速转向“重构数据流传输通道”**。

二、 产业投资者必须关注的商业化约束
对于前沿技术的投资与关注,不能仅仅停留在实验室的论文数据上,更要看清其商品化过程中的核心约束:
- 良率与制造成本(Yield & Cost): 新型光学器件(如硅光调制器、微环激光器)与芯片的“共封装”工艺极其复杂,良率直接决定了其是否具备商业推广的性价比。
- 生态与软件栈适配(Software Eco-system): 像存内计算(PIM)这类改变冯·诺依曼架构的技术,如果缺乏通用的编译器和软件生态(如 PyTorch、CUDA 的无缝支持),开发者就无法直接使用,这会极大地拉长其商业落地周期。
- 巨头生态排他性与标准割裂: 芯片巨头在尚未量产的前沿领域各立标准。缺乏统一的互连协议,会导致前沿技术在短期内只能作为特定巨头闭环系统内的“特供”技术,难以成为行业通用的硬通货。
三、 三大前沿技术的产业布局与商业化进度
graph LR
A["前沿硬件技术"] --> B["光通信与硅光芯片"]
A --> C["存内计算 PIM"]
A --> D["封装物理层: 玻璃基板"]
B --> B_Status["巨头卡位/大额并购期 (量产准备阶段)"]
C --> C_Status["技术储备与端侧前哨期 (技术验证阶段)"]
D --> D_Status["冲刺量产元年期 (2026-2027商用落地)"]
1. 光通信与硅光芯片(换掉传输介质)
- 商业化路径: 用光信号替代电信号进行芯片到内存(Chip-to-Memory)、芯片到芯片(Chip-to-Chip) the 互连。
- 核心细分风向:
- 光子织物与内存池化: 代表技术如 Celestial AI 的 Orion 平台。它将 GPU 与外部大容量内存池通过光子织物(Photonic Fabric)连接,允许 GPU 以接近本地 HBM 的极低延迟和超高带宽访问海量外部内存,实现计算与内存的物理拆分。
- 共封装光学(CPO)与光学 I/O: 代表企业如 Ayar Labs。其研发的光学 I/O 小芯片可直接合封在逻辑芯片旁,将引脚数据输出的功耗降低 70%。
- 2026 年投资风向标:
- 2026年2月,网络芯片巨头 Marvell 宣布以 32.5 亿美元的价格完成了对 Celestial AI 的收购 [1]。这表明光通信已经从“概念探讨”正式进入“行业巨头的架构整合与量产化铺路”阶段。
- 2026年3月,Ayar Labs 完成 5 亿美元的 E 轮融资,估值达 37.5 亿美元 [2],其光学 I/O 产品正在向顶级芯片制造商的商用设计中集成。
2. 存内计算 PIM(消除传输过程)
- 商业化路径: “数据不动,计算动”。在 DRAM、LPDDR 或 HBM 存储颗粒内嵌入微型运算单元,原地完成矩阵乘法等密集型运算。
- 商业化现状与瓶颈: 目前主要由存储双雄三星与 SK 海力士推动。尽管三星已经完成了 HBM-PIM 的技术验证,但在高端服务器(如 GPU 集群)上,由于软件栈和主流大模型开发工具链的适配问题,尚未实现大规模商业量产。目前,两家公司已将商业突围的前哨站转向移动端与边缘 AI,全力冲刺 LPDDR6-PIM 标准的制定,力求在手机等电池容量受限的端侧设备上首先释放能效红利 [3][4]。
3. 封装物理层的破局:玻璃基板(最先落地的“物理缓冲方案”)
- 商业化路径: 用玻璃基板替代传统的有机封装基板,以提供更高的布线密度和更强的热稳定性,支持下一代 HBM4 与 GPU 的密集互连。
- 商业化进度: 相比于彻底颠覆传输介质的光通信,以及颠覆计算架构的 PIM,玻璃基板封装不改变现有的逻辑芯片设计与软件开发生态,是三种技术中产业阻力最小、最有望率先商用落地的方案。英特尔、三星等芯片制造巨头已进入 2026 年量产前的冲刺阶段,预计 2026-2027 年将成为玻璃基板高端芯片封装的商用量产元年。
四、 软件与系统工程层面的临时破局方案
在前沿光通信与存内计算技术大规模商用并普及之前,业界的软件和系统工程师们并未坐以待毙。为了在现有的“电信号/铜互连”物理约束下对抗“内存墙”,大模型部署与计算优化领域探索出了以下几条实用的系统工程调优路径:
- 并行计算架构的精细拓扑(Model Parallelism):
- 张量并行(Tensor Parallelism): 将单层网络矩阵拆分到同一节点内的多块 GPU 上并行计算,从而在逻辑上把多块显卡的本地 HBM 带宽“聚合”成一个更大的虚拟带宽。
- 流水线并行(Pipeline Parallelism): 将模型的不同层分给不同的 GPU 阶段运行。为了防止部分 GPU 闲置,通常采用微批次(Micro-batching)调度,将数据流在节点之间高效流水化传送,减少整体等待开销。
- 软件算子级的访存优化(Kernel Fusion & Attention Optimization):
- FlashAttention: 传统的 Attention 计算需要频繁在 SRAM 与 HBM 之间读写巨大的 Attention Matrix,这占用了大部分带宽。FlashAttention 通过分块计算(Tiling)和在线重计算(Recomputation),使中间矩阵数据完全留在片上 SRAM 中,降低了 2-4 倍的 HBM 访存次数。
- 算子融合(Kernel Fusion): 通过编译器(如 Triton)将多个逻辑上的算子合并成一个 GPU 内核执行,避免了中间计算结果反复写入和读取 HBM 的开销。
- KV Cache 的高精细管理(Memory Conservation):
- 在长文本生成阶段,历史 Token 的键值对(KV Cache)会随着会话深度呈线性膨胀。通过 PagedAttention(如 vLLM 引擎)技术实现类似操作系统的虚拟内存分页管理,减少了显存的碎片化空闲;同时,采用 KV Cache 量化(如 FP8/INT4)以及动态裁剪(Pruning),能让 HBM 容纳更长的上下文和更大的并发吞吐。
五、 下一代 AI 算力硬件的产业投资与关注建议
根据目前的技术成熟度和巨头卡位状态,为产业关注者提供以下多维度的评估维度:
- 短期关注点(1-2 年):玻璃基板封装的渗透率
- 风向研判: 玻璃基板是短期内提升高端 GPU 和 HBM4 物理引脚密度的关键使能技术。应重点关注半导体设备厂商在“穿玻璃通孔(TGV)”加工设备、化学机械抛光等领域的订单与量产出货数据。
- 中期关注点(2-4 年):硅光与 CPO 的标准化与并购热潮
- 风向研判: 硅光互连是解决大型集群“I/O 墙”的唯一物理终极通路。随着 Marvell 收收购 Celestial AI 的落地,产业整合已经加速。投资者应重点跟踪芯片间光互连协议的标准化进程(如 UCIe 协议对光学的支持),以及光纤合封、低功耗调制器等核心供应链的技术成熟度。
- 长期关注点(4 年以上):存内计算(PIM)在端侧 AI 的爆发
- 风向研判: PIM 对软件生态的重构要求极高。短期内其在数据中心的大量商用仍面临编译器壁垒;但在端侧(智能手机、智能座舱等通用性要求稍低、功耗限制极严的垂直场景),随着 LPDDR6-PIM 规范的发布,存内计算有望成为端侧长续航运行本地大模型的硬通货。
结语与前沿探讨
从第一性原理来看,AI 内存瓶颈的物理局限并非软件层面的缝缝补补所能彻底根治。在以光通信、存内计算等颠覆性芯片架构实现全面替代之前,软硬件协同的系统工程调优依然是当前提升算力效率的关键桥梁。
本文由风远科技技术团队整理。我们持续关注高并发、低延迟的实时计算、底层网络拓扑与大模型基础工程演进。
如果您对下一代高性能 AI 基础设施架构、光电融合技术以及实时计算系统有任何行业见解或探讨需求,欢迎关注我们或通过官方渠道进行技术交流。
- 官方网站: https://www.seastart.cn
- 开源代码库: https://github.com/seastart
资讯来源与数据说明
- [1] Marvell Acquires Celestial AI for $3.25B to Bolster Photonic Fabric Connectivity Portfolio
- [2] Ayar Labs Secures $500M Series E Funding to Accelerate Production of Optical I/O
- [3] Samsung Electronics Advances Processing-in-Memory for Next-Gen LPDDR Memory
- [4] SK Hynix AiM and Memory Roadmap Highlights LPDDR6-PIM Integration by 2028