在谈到为当今人工智能提供动力的神经网络时，我们所熟知的一个规律是它们越大就越聪明。例如，最近机器理解语言的飞跃就取决于开发者们构建了一些有史以来最庞大的人工智能模型，并用大量文本填充它们。
       与此同时，一个新的计算机芯片集群现在也可以帮助这些网络增长到几乎无法想象的规模——并且会表明它们是否可以变得更大，这关乎它们能否进一步解锁人工智能。这不仅仅体现在语言理解方面，而且还可能出现在机器人和计算机视觉等领域。
      Cerebras Systems是一家已经制造出世界上最大计算机芯片的初创公司，该公司现在已经开发出一种技术，可以让这些芯片集群运行比当今最庞大的芯片大一百多倍的 AI 模型。
Cerebras 表示，它们的系统现在可以运行一个具有 120 万亿个连接的神经网络，对生物神经元和突触之间的相互作用进行数学模拟。而当今最大的 AI 模型则仅拥有大约一万亿个连接，并且它们的构建和训练花费了数百万美元。但是 Cerebras 表示，它的硬件运行计算的时间大约是现有硬件的 50 分之一。虽然它的芯片组以及电源和冷却要求可能仍然不会便宜，但 Cerberas 至少声称其技术将大大提高效率。

      我们用合成参数（synthetic parameters）构建了它，”Cerebras 的创始人兼首席执行官Andrew Feldman说，他在近期举办的hotchips 33会议上详细介绍了这项技术的细节。他补充说：“所以我们知道我们可以，但我们还没有训练过模型，因为我们是基础设施建设者，而且，目前还没有这种规模的模型。”
       今天，大多数 AI 程序都使用 GPU 进行训练，GPU 是一种最初设计用于生成计算机图形的芯片，但也非常适合神经网络所需的并行处理。大型 AI 模型基本上是拆分到数十或数百个 GPU上训练，并使用高速布线连接。
      GPU 对 AI 仍然有意义，但随着模型变得越来越大以及公司寻求优势，更专业的设计可能会找到自己的利基。最近的进展和商业利益引发了专门用于人工智能的新芯片设计的寒武纪大爆发。Cerebras 芯片是这一进化过程中一个有趣的部分。
       普通的半导体设计人员将晶圆分成几块以制造单个芯片，但 Cerebras 通过使用整个晶圆设计，让芯片拥有更多的计算单元或核心，从而更有效地相互通信，从而增加了更多的计算能力。一个 GPU 通常有几百个内核，但 Cerebras 最新款的WSE-2（Wafer Scale Engine Two ）芯片则拥有 850,000 个内核。
      与连接在一起的多组 GPU相比，Cerebras 的设计能更有效地运行大型神经网络。但是制造和运行芯片是一个挑战，需要新的蚀刻硅特征的方法、一个包括冗余以解决制造缺陷的设计、以及一个新的水系统来保持巨大的芯片冷却。
       为了构建能够运行创纪录大小的 AI 模型的 WSE-2 芯片集群，Cerebras 必须解决另一个工程挑战：如何有效地将数据输入和输出芯片。普通芯片有自己的内存，但 Cerebras 开发了一种名为 MemoryX 的片外内存盒。该公司还开发了软件，允许将神经网络部分存储在片外存储器中，只有计算转移到硅芯片上。它还构建了一个名为 SwarmX 的硬件和软件系统，将所有东西连接在一起。

      “他们可以将训练的可扩展性提高到更大的维度，这超出了当今任何竞争对手的能力，” Linley Group 的高级分析师Mike Demler说。
       Demler 表示，目前尚不清楚该集群将有多少市场，特别是因为一些潜在客户已经在内部设计自己的、更专业的芯片。他补充说，该芯片在速度、效率和成本方面的实际性能尚不清楚。迄今为止，Cerebras 尚未发布任何基准测试结果。
       “在新的 MemoryX 和 SwarmX 技术中有很多令人印象深刻的工程，”Demler 说。“但就像处理器一样，这是高度专业化的东西；它只对训练最大的模型有意义。”
       迄今为止，需要超级计算能力的实验室已经采用了 Cerebras 的芯片。早期客户包括阿贡国家实验室、劳伦斯利弗莫尔国家实验室、包括葛兰素史克和阿斯利康在内的制药公司，以及Feldman所说的“军事情报”组织。
        这表明 Cerebras 芯片不仅可以为神经网络提供支持，还能应用到更多领域；这些实验室运行的计算涉及类似的大规模并行数学运算。“而且他们总是渴望获得更多的计算能力，”Demler 说、他补充说，可以想象，该芯片对于超级计算的未来可能会变得很重要。
       Real World Technologies的分析师兼MLCommons 的执行董事David Kanter表示，他认为未来市场会出现更大的 AI 模型。“我通常倾向于相信以数据为中心的 ML [机器学习]，因此我们需要更大的数据集，以便能够构建具有更多参数的更大模型，”Kanter说。
       根据 Feldman 的说法，Cerebras 计划通过瞄准大规模自然语言处理 AI 算法的新兴市场进行扩张。他说，该公司已经与OpenAI 的工程师进行了交谈，OpenAI是旧金山的一家公司，该公司率先将大规模神经网络用于语言学习以及机器人和游戏。
       最新的 OpenAI 算法称为 GPT-3，它可以以令人惊讶和信服的方式处理语言，针对给定主题编写新闻文章或连贯地总结内容，它们甚至可以编写计算机代码，尽管它也容易出现误解和错误信息。据介绍，GPT-3 背后的神经网络有大约 1600 亿个参数。
      “从与 OpenAI 的对话来看，GPT-4 将包含大约 100 万亿个参数，”Feldman说。“但这不会在几年内实现。”
      OpenAI 已通过 API 使开发人员和初创公司可以访问 GPT-3，但该公司面临着来自开发类似语言工具的初创公司日益激烈的竞争。OpenAI 的创始人之一Sam Altman是 Cerebras 的投资者。“我当然认为我们可以在当前的硬件上取得更大的进步，”Altman 说。“但如果 Cerebras 的硬件功能更强大，那就太好了。”
       构建一个 GPT-3 大小的模型产生了一些令人惊讶的结果。当被问及一个大 100 倍的 GPT 版本是否一定会更聪明——也许表现出更少的错误或更好地理解常识时——Altman说这很难确定，但是他认为这是乐观的。
      这种进步可能至少需要几年的时间。近期，Cerebras 希望有足够多的公司看到对旨在超大型各种 AI 模型的硬件的需求。

『本文转载自网络,版权归原作者所有,如有侵权请联系删除』