首页 > 其它资讯

AI观察 | Groq芯片爆火给我国AI芯片产业发展带来的3个启示

来源:人民网 其它资讯 2024-05-04

近日,硅谷初创企业Groq推出一款全新的AI芯片,声称实现了“地表最强推理”——在Groq上运行大模型的推理速度较英伟达GPU提高10倍甚至更高。该消息一出,迅速攻占了各大科技媒体板块头条。这样的推理速度无疑是AI芯片领域的一次技术飞跃,也为国产AI芯片企业如何突围发展带来一些新启示。

启示一:可专注特定场景建立“比较优势”

Groq芯片是一种LPU(语言处理单元),其优越的推理性能,再一次展示了专用AI芯片在特定场景中的应用价值。因此,参考Groq芯片在某个应用场景做到替代或者超过英伟达,将有可能是国产AI芯片现阶段一条行之有效的发展路径。

比如这款推理芯片主打一个“快”。常规生成式AI主要使用英伟达A100、H100芯片来进行训练与推理工作,大模型推理过程中等待是相对比较正常的事情,字符一个个蹦出,半天才能回答完毕。但在Groq的演示平台上,模型收到提示词后,几乎能够立即生成答案。这些答案不仅相对质量较高,还附有引用,长度更是达到数百个单词。更令人惊讶的是,它超过3/4的时间是用于搜索信息,而生成答案的时间却短到只有几分之一秒。

虽然暂时有着种种缺点,但是Groq芯片的优势点太为突出,足以在某些场景下完全替代英伟达,甚至能做得更为优秀,自然而然吸引了大量关注及认可。可以想象,在Groq芯片的成本控制优化至合适区间后,将会有大量实际应用场景前来适配和使用。

启示二:需重视应用场景中的“性能匹配”

Groq芯片凭借推理速度脱颖而出,充分说明了其性能与应用场景之间的强相关性,这也再次提醒我们应用场景的重要性。国产AI芯片产业应当重视在实际应用场景中的性能匹配度,并在这一基础上开展芯片的优化和创新。

语言推理赛道上,谁是冠军也尚未一锤定音。目前来看,Groq芯片综合素质仍有相当的不足。比如Groq芯片每张卡的内存是230MB,在运行Llama-2 70B模型时,需要305张Groq卡才足够,而用H100则只需要8张卡。从目前的价格来看,这意味着在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。另外,Groq芯片目前只能适配少数几个大模型的推理工作,并且需要大量调试,广泛应用性还相对较差。其中的差距,也是中国企业的创新机会。

最终,一种AI芯片产品能否胜出,和多种因素密切相关,包括芯片本身的技术路线、产品推出的时间点,以及大模型的成熟度,等等。对于大模型来说,目前有观点认为大模型已经开始趋向稳定了,在这个基础上开发芯片是有机会的;也有观点认为大模型变化还很快,过两年大模型一改,所有的投入又得重新开始。这些争论还有待时间检验。

启示三:借助第三方评测体系“精准定位”

当前,美国政府对我国芯片出口管制的层层加码对国产AI芯片行业既是挑战又是机遇。从产业发展的整体视角来看,亟需构建一个中立、客观并具有权威性的评测体系,为各种芯片提供一个公平竞技的舞台和场景匹配的渠道。

在2023年世界AI技术大会上,人民日报社传播内容认知全国重点实验室(人民网)与中国电子技术标准化研究院共同发起的“智越计划”提出,要共同推动建立包含AI技术芯片性能评测、场景评测与综合评测的整体评估评测标准体系。其中的场景评测就是测试不同AI技术应用场景中各款芯片的实际使用效果。

“智越计划”将最终形成针对特定应用场景的综合报告和产品推荐目录,从而助力优化市场供需匹配,为政府、企业和研究机构建设智算中心提供芯片选型的重要参考和决策依据。

随着AI技术的飞速进步,市场对芯片产品的性能、稳定性和适用性有了更高要求。一个科学完善的评测体系将有效地指引企业研发方向,推动生态的繁荣发展和行业的整体进步。

说明:

本文来自网络媒体
纠错:2438514686@qq.com

蓝码智能资讯导航

欢迎光临 | 蓝码智能资讯导航网

Copyright ? 2019-2020

手机扫描二维码查看更多内容

热门|推荐|精品|最新|完本

青春|都市|言情|校园|职场