「地表最快」 AI 芯片发布哈佛辍学的本科生挑战英伟达
栏目:行业资讯 发布时间:2024-06-27
 龙8hk登录龙8hk登录在谈到 AI、大模型、算力等关键词时,如果要提及硬件产品,很多人应该会不假思索的说出英伟达。  的确,在 AI 时代下,英伟达的地位是独特又难以撼动的。但现在,有一位勇者准备正式挑战这一局面。  在刚刚宣布融资 1.2 亿美元后,Etched 又发布了目前的最快的 AI 芯片 —— Sohu。  此 Sohu 非彼搜狐,它号称可以在毫秒级别的时间里处理数千个单词。每秒能

  龙8hk登录龙8hk登录在谈到 AI、大模型、算力等关键词时,如果要提及硬件产品,很多人应该会不假思索的说出英伟达。

  的确,在 AI 时代下,英伟达的地位是独特又难以撼动的。但现在,有一位勇者准备正式挑战这一局面。

  在刚刚宣布融资 1.2 亿美元后,Etched 又发布了目前的最快的 AI 芯片 —— Sohu。

  此 Sohu 非彼搜狐,它号称可以在毫秒级别的时间里处理数千个单词。每秒能处理超过 50 万个 tokens,运行 Llama 70B 模型。

  正是这种专用性,才为 Sohu 带来了性能的巨大提升。相较于英伟达 H100,Sohu 的推理速度相提升了 8 至 10 倍。

  作为全球首款 Transformer 专用集成电路(ASIC)芯片,每张 Sohu 芯片只有一个核心,使用了台积电 4nm 制造工艺,并配有 144GB HBM3E 高带宽内存。

  相比英伟达的下一代 Blackwell(B200)GPU,Sohu 的速度提高了一个量级,价格也会更加便宜。

  Gavin Uberti 和 Chris Zhu 都曾就读于哈佛大学,度过了一段本科生活。后来出于一些原因,他们选择休学一年,并在 OctoAI 找到了一份实习工作。

  当时二人的工作内容,主要是负责 ApacheTVM 开源编译器和微内核开发。但在实习时,他们发现 Arm 的指令集中的一些设计十分低效,使得他们的工作效率很差。

  Gavin Uberti 说到:「这个问题无法解决,每次工作时我都得面对这个问题,这让我和 Chris 觉得我们必须做得更好。」

  于是两人便选择了从哈佛辍学,创办了一家专注于 LLM 的 AI 芯片初创公司 —— Etched。

  在 Gavin Uberti 看来,通用公版设计无法带来获得突破性的性能提升,所以他们才研发 Transformer 架构下的专用加速芯片。

  必须在单一架构上下大力气,让芯片处理AI任务,目标太大了,必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。

  作为全球首款 Transformer ASIC 芯片,再配上如此亮眼的成绩,Etched 自然也是吸引了一大波关注。

  在 2022 年创立之初,Etched 就看中了Transformer将会占据主导地位的未来。Gavin Uberti 表示,「我们正在人工智能领域下最大的赌注。」