龙8hk登录龙8hk登录在谈到 AI、大模型、算力等关键词时,如果要提及硬件产品,很多人应该会不假思索的说出英伟达。
的确,在 AI 时代下,英伟达的地位是独特又难以撼动的。但现在,有一位勇者准备正式挑战这一局面。
在刚刚宣布融资 1.2 亿美元后,Etched 又发布了目前的最快的 AI 芯片 —— Sohu。
此 Sohu 非彼搜狐,它号称可以在毫秒级别的时间里处理数千个单词。每秒能处理超过 50 万个 tokens,运行 Llama 70B 模型。
正是这种专用性,才为 Sohu 带来了性能的巨大提升。相较于英伟达 H100,Sohu 的推理速度相提升了 8 至 10 倍。
作为全球首款 Transformer 专用集成电路(ASIC)芯片,每张 Sohu 芯片只有一个核心,使用了台积电 4nm 制造工艺,并配有 144GB HBM3E 高带宽内存。
相比英伟达的下一代 Blackwell(B200)GPU,Sohu 的速度提高了一个量级,价格也会更加便宜。
Gavin Uberti 和 Chris Zhu 都曾就读于哈佛大学,度过了一段本科生活。后来出于一些原因,他们选择休学一年,并在 OctoAI 找到了一份实习工作。
当时二人的工作内容,主要是负责 ApacheTVM 开源编译器和微内核开发。但在实习时,他们发现 Arm 的指令集中的一些设计十分低效,使得他们的工作效率很差。
Gavin Uberti 说到:「这个问题无法解决,每次工作时我都得面对这个问题,这让我和 Chris 觉得我们必须做得更好。」
于是两人便选择了从哈佛辍学,创办了一家专注于 LLM 的 AI 芯片初创公司 —— Etched。
在 Gavin Uberti 看来,通用公版设计无法带来获得突破性的性能提升,所以他们才研发 Transformer 架构下的专用加速芯片。
必须在单一架构上下大力气,让芯片处理AI任务,目标太大了,必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。
作为全球首款 Transformer ASIC 芯片,再配上如此亮眼的成绩,Etched 自然也是吸引了一大波关注。
在 2022 年创立之初,Etched 就看中了Transformer将会占据主导地位的未来。Gavin Uberti 表示,「我们正在人工智能领域下最大的赌注。」