晶圆级处理器开发商 Cerebras 正在研究一种光学子态，以将其系统性能提高 4000 倍，并呼吁行业合作和标准化。

目前的 Cerebras WSE3 处理器建立在一块 300 毫米晶圆上，拥有 900 million晶体管，功耗为 20kW。这家总部位于加州的公司必须开发自己的晶圆级封装，用于 I/O、电力输送和冷却，目前正在研究光学互连。

该公司首席系统架构师本周在法国格勒诺布尔举行的 Leti 创新日上发表了讲话，探讨了如何利用小芯片和 3D 异构封装技术应对可扩展性挑战。“它不是小芯片，但它仍然是 3D 集成的候选者，”Cerebras 联合创始人兼首席系统架构师 JP Fricker 表示。“这项技术将带来变革。”

然而，性能、扩展和功耗的一个关键限制是片外 I/O。

“I/O 是大型计算的一个限制，会阻止您进入非常大的系统。这些技术现在已经存在，但我们需要发明技术来将它们整合在一起。我们正在开发这些技术，我们的目标是构建比现在快 4000 倍的超级计算机，并将 1000 个晶圆连接在一起。”

“目前，I/O 位于芯片的两个边缘，但如果 I/O 分布在芯片上，效果会更好。缩短通道长度可以减小 SERDES 的尺寸，从而节省空间和功耗。”

“我们希望拥有大量的光学引擎，”他说。“目前它们是外部的，但最终我们会将这些激光器放入芯片中。”他说，这些将用于多个通信通道，数据速率合理，为 100 到 200Gbit/s，而不是粗管道。

“我们有自己的晶圆级引擎，并采用第三方晶圆级可编程光学互连，将它们组合在一起，利用晶圆的整个表面连接到晶圆上，”他说。“这需要异质晶圆对晶圆的封装。”

Celestia AI 和 LightMatter 等公司一直在开发这些光互连技术，特别是针对超大规模和 AI 芯片公司。

“但我们需要发明或重新利用技术。当前的互连间距太粗，我们无法获得愿意集成该技术的晶圆厂，因为它太小众了，所以我们需要创建一种不同的工艺。混合键合可实现 12 微米以下的更细间距和更高的组装产量，但它仅在特定晶圆厂中可用，并且晶圆厂中的工艺对有限，例如 5nm 到 5nm 晶圆，但不能使用不同的代工厂，而且两年后也是如此。”

工艺步骤中也存在挑战。

“为了进行混合键合，晶圆厂会在最后的铜层之一处停止，这个铜层不容易探测，但这使得运送到另一家晶圆厂变得困难。”

“我们希望开发一种新技术，通过一个共同的顶层来标准化晶圆的表面处理，并将这一层用作晶圆堆叠的标准接口，这样不同的晶圆可以以不同的方式制造，但最后一组接口对于不同工厂之间的键合来说是通用的。这也意味着键合可以由第三方完成，而不仅仅是大批量工厂，”他说。

测试探针在铜层上留下的标记对于平坦化来说也是一个问题，必须去除这些标记或使用非接触式测试系统。

但他表示，这一做法具有显著的优势。

“我们可以通过光学晶圆传输电力，因为元件更稀疏，有许多硅通孔 (TSV) 和非常短的通道，并且这些元件通过使用多种波长位于单层中。这样就可以在同一系统中从顶部传输电力并从底部移除冷却。”

“在我们的案例中，计算晶圆上的网络基于可配置结构，该结构在晶圆上运行工作负载之前设置。当您在光域中使用电路交换执行此操作时，您可以将电气交换发展到光域，但您不需要经常这样做。

英伟达的护城河有多宽？这是如今投资者心中3万亿美元的问题。至少部分答案可能在今年晚些时候以IPO的形式出现。Cerebras Systems是一家试图在人工智能芯片战场上挑战英伟达的初创公司 AI，该公司将于2024年底进行首次公开募股。

Eclipse Ventures的创始人兼管理合伙人Lior Susan 于2015年首次投资Cerebras ，当时该公司有五张演示幻灯片和新计算机架构的理论计划。八年后，这家初创公司提供了具有大量内存的特殊大型芯片，适用于模型训练和推理等生成式人工智能工作负载。这些与 Nvidia 芯片（包括 B100 和 H100）相抗衡。

与 Nvidia 竞争最“烦人”的事情是 CUDA 但根据 Susan 的说法，

CUDA 是 Nvidia 构建的软件层，旨在帮助开发人员处理和指导其图形处理单元。该平台拥有数百万行代码，可节省开发人员的时间和金钱，在这一点上，它是大部分人工智能生态系统的默认代码。

Cerebras有自己的软件，可以与初创公司的芯片配合使用。但即使是精心设计的替代品也比 CUDA 落后数年。随着开发人员的知识和习惯的建立，这种领先优势将很难打破。

“我个人完全低估了销售芯片的CUDA部分，”Susan说。“你是冲着硬件来的。你留下来是因为软件。他补充说：“作为技术人员，我们总是喜欢哭泣，说我们不喜欢某些东西，但后来我们继续使用它。因为没有比这更好的了。

半导体行业资深人士、Thomvest董事总经理Umesh Padval称CUDA为堡垒。它在 2007 年发展缓慢，但近年来像滚雪球一样越滚越大，大约有 500 万开发人员编写 CUDA 代码，向规范添加可用数据，排除错误并相互支持。

随着时间的流逝，Nvidia 在 CUDA 之上叠加了更多工具和资产。像单词库和训练数据这样的东西，初创公司可以利用这些数据，这样他们就不会在每次决定将人工智能革命的力量指向一个新的用例时从头开始。例如，Modulus 是一个帮助人工智能理解物理的库。

“他现在有数以百万计的软件开发人员，他们知道这门语言，并且已经使用了很长时间，”Padval在谈到英伟达首席执行官黄仁勋时说。“总有一天会解决的，但这是一条很大的护城河。”

越过这条CUDA护城河是关键。Business Insider 获得的亚马逊内部文件就是一个例子。文件称，亚马逊的 Neuron 软件旨在帮助开发人员使用 AWS 的 AI 芯片构建 AI 工具，但目前的设置“阻止了从 NVIDIA CUDA 的迁移”。这是阻碍一些AWS客户使用亚马逊人工智能芯片的主要因素之一。

任何构建CUDA替代品的人都不能完全忘记它。如果初创公司出于这种意图从头开始构建技术，他们可以尝试完全避免这种情况 。但是，大多数 AI 开发人员如果想改变他们的硬件，就必须通过艰苦的工作来改变他们的软件。

AMD是英伟达最直接的竞争对手 ，拥有自己的平台ROCm。它带有一个名为 Hipify 的工具，可将 CUDA 软件代码转换为更便携的东西。

“你用CUDA编写一个程序。要在AMD GPU上运行它，您可以使用Hipify工具进行切换，“AI芯片初创公司Positron的联合创始人兼首席执行官Thomas Sohmers说。“坦率地说，我还没有看到有人使用Hipify。

9月，包括高通、谷歌和英特尔在内的一群 AI 名人和 Nvidia 竞争对手成立了 UXL 基金会 ，以构建一个与芯片无关的竞争对手软件平台。该软件要到 2024 年底才能投入使用。其他攻破CUDA堡垒的尝试都失败了 。

然而，时间和惯性是一个强大的组合，正如KG Ganapathi乐于解释的那样。

他的创业公司Vimaan正在为未来的“黑暗仓库”开发技术，不需要人工操作。它使用计算机视觉和机器学习来理解和编目每个项目的形状、大小、数量和位置。Vimaan 已获得亚马逊 工业创新基金 的资助，并且是 Nvidia 初创公司 Inception 计划的一部分。

Vimaan团队已经在CUDA中构建了整个系统，而Ganapathi现在没有兴趣改变它，即使有明确的理由这样做。

“我是否要借此机会切换我们在英伟达平台上构建的整个基础设施？”他说。“可能不会。”

尽管如此，Thomvest 的 Padval 相信 Nvidia 客户希望通过多样化他们的 GPU 和支持软件来源来降低风险。这意味着竞争对手仍将受到资本以及产品测试和购买的推动。

“客户喜欢领导者。但他们也觉得他们想要第二个来源，这样他们就有了选择，“他说。

由于CUDA可能是英伟达护城河中最重要的元素，因此对该公司市场份额的长期预测可以表明这种影响力有多大。

Eclipse Ventures的Susan表示，这个市场是如此巨大，即使从英伟达手中夺走一小部分也是值得的。

“我说嘿，我最大的竞争对手价值3.5万亿美元，所以你知道，如果我得到10%，我就是一个快乐的人，”他说