对国内AI算力紧缺问题的若干看法

声明:本文来自微信公众号“互联网怪盗团”(ID:TMTphantom),作者:怪盗团团长裴培,授权转载发布。

对国内AI算力紧缺问题的若干看法

今天凌晨的苹果WWDC证实了一点:AI推理算力将长期处于“云端为主”的状态,这个“长期”至少是三到五年。是的,苹果与OpenAI建立了战略合作,计划将下一代iOS系统与ChatGPT深度融合;但是绝大部分生成式AI推理,包括文字和图片生成任务,仍将上传到ChatGPT的数据中心,在云端完成。关于这一点,OpenAI在公告中已经说得很清楚了。苹果的“端侧AI”主要仍局限于软件层面。

如果连苹果都做不到推理算力的“端侧化”,那么其他手机厂商就更做不到了。PC端可能比移动端的进展稍微好一点,但是在可见的未来,大部分AI PC(包括桌面工作站)仍将基于英伟达的桌面级显卡,而且只能执行参数规模相对较小的(蒸馏后的)大模型推理。无论从技术角度还是成本角度考虑,大模型及应用开发商都会更乐意在云端即数据中心完成大部分推理任务。资本市场再次认识到了这一点,所以WWDC举行之后,苹果股价下跌而英伟达股价微涨。

图源备注:图片由AI生成,图片授权服务商Midjourney

在未来很长一段时间里,我们不必过多考虑“端侧算力”。既然如此,国内AI算力紧缺的问题,就不可能通过发展所谓“端侧算力”的方式去解决。自从2022年11月底ChatGPT横空出世以来,国内AI算力几乎始终处于紧缺状态,这是由下列因素共同决定的:

  • 全球AI算力均十分紧缺,尤其在制造端,英伟达H系列显卡仅能由台积电代工(三星不行),产能瓶颈将持续到多年以后。

  • 美国芯片出口禁令日益严格,尤其在2023年下半年的全方位加强之后,许多“后门”被堵上了,国内厂商采购数据中心级显卡的难度与日俱增。

我们知道,AI大模型所需算力分为训练和推理两种,前者的要求更高一些;国内的现状则是两种算力都缺乏。讽刺的是,前几年国内发展云游戏期间,互联网大厂和电信运营商均采购了一批英伟达Turing架构的显卡用于架设RTX刀片服务器,这些显卡可以用于AI推理;如果没有云游戏,国内推理算力的瓶颈将更加严重。中国游戏产业是一个任劳任怨的背锅产业,谁都能来踩一脚,谁都能污名化,但是拯救所谓“硬科技”产业偏偏还得靠它!

即便如此,国内AI推理算力的供需关系仍然十分紧张。所以,过去一个月国产大模型的“降价”举措,很大程度上仅仅是行为艺术罢了。尤其是对于B端客户而言,无论大模型API的调用价格降到多低,关键在于能不能买到量。现在的问题就是“有价无市”:只有极小规模的采购才能以“刊例价”执行,稍大规模的采购就必须找销售人员单独洽谈并排队,实际成交价格难以预料(肯定远高于“刊例价”)。

不要说B端用户,哪怕C端用户也能感受到推理算力的紧张:国内的几个最流行的AI大模型应用,免费用户在高峰期几乎一定会遇到需要排队的状况,必须充值或打赏才能加快进度。要知道,目前国内主流生成式AI应用的DAU普遍只有几百万量级,推理算力就已经如此匮乏;如果真的出现上亿DAU的AI超级应用,算力几乎肯定是跟不上的——所以目前国内不可能出现这样的超级应用。(注:文心一言和通义千问均自称累计用户超过1亿、每日API调用次数超过1亿,但是与1亿DAU还差很远;豆包估计也差很远。)

可以想象,比推理要求更高的训练算力更加紧缺。2024年2月,字节跳动在一篇论文当中公布了它于前一年9月组建的“万卡集群”。遗憾的是,它是由1.2万张(比较落后的)A100显卡组成,而美国科技巨头早已换上了由(更先进的)H100组成的“万卡集群”,例如Meta的LLaMA-3就是由2.5万张H100组成的集群训练的;以亚马逊为代表的云计算大厂正在积极转向(更更先进的)B100及GB200算力集群。A系列显卡发布于2020年,当时芯片禁令尚未出台,国内采购没有多大障碍;H系列发布于2022年,芯片禁令已经出台,但是国内仍然可以通过采购“专供版”(主要是H800)的方式绕过;B系列于2024年发布,此时绕过芯片禁令的途径已经非常狭窄、朝不保夕。

长期、严重的算力瓶颈,给国内AI产业带来了两个深刻影响。首先,算力紧缺意味着算力价格高昂(无论以自购显卡还是租用的形式),国内所有大模型厂商的售价均无法覆盖训练+推理成本,有些甚至无法覆盖边际推理成本,卖一单亏一单(最近一波降价之后可能亏的更严重)。其次,国内大部分算力集中在少量科技大厂手中,创业公司高度依赖它们,十分渴望它们以算力的方式投资入股。结论就是大模型创业在国内是一门非常差的生意,远远比不上当年的移动互联网创业。

下面我们不妨以问答的形式,进一步说明国内AI算力的现状。问题是市场上最关心的那些问题,回答则不是来自我本人,而是来自我在云计算和AI行业的信赖的朋友,我只是总结他们的答案罢了。

问:目前国内AI算力储备及分布状况大致如何?

答:先说训练使用的“大卡”。如果把A100-800、H100-800均算作“大卡”的话,那么国内的“大卡”储备肯定超过六位数,甚至可能超过了20万张。问题在于随着技术进步,A系列已经很难再被视为“大卡”了。如果按照扎克伯格所谓的“H100等效算力”,国内的储备肯定不超过六位数,而仅仅Meta一家的“H100等效算力”就已经超过了30万张,2024年底将突破65万张,远远超过了国内所有大厂的算力储备之和。

具体到算力分布,有两个标准:第一是“掌握的算力”,第二是“能调用的算力”。阿里这样的云计算大厂掌握了巨大的算力,但其中很大一部分要出租给客户,自家大模型训练和推理能调用的算力未必有绝对优势。如果只计算“掌握的算力”,国内第一的无疑是阿里,其次是百度、字节跳动,腾讯可能更少一点。掌握一两千张大卡的互联网公司很多,因为内容推荐算法、自动驾驶训练等环节都需要。

至于推理算力的分布就更加驳杂了。上文提到过,云游戏使用的显卡可以承担一定的推理任务,目前国内的推理算力可能有很大一部分来自以前的云游戏算力。

问:怎么看AI算力的国产替代?

答:在训练端难度极大,哪怕某些国产显卡自称其技术参数能达到A100的水平,它们也不具备NVlink互联技术和CUDA开发环境,从而无法承担大模型训练使命。况且,A100是英伟达2020年发布的产品,在2024年“追上”前者四年前的水平并无先进性可言。大模型不是原子弹,它是一种重视性价比的民用商品,使用非主流硬件开发出来的大模型可能毫无商业价值可言。

但是在推理端,不是完全没有可能,因为推理卡对NVlink和CUDA的依赖程度很小。英伟达在推理端的城墙仍然很高,但是比起训练端就要差了不少。问题在于,推理算力的技术路线也在不断变迁,技术变迁的领导者还是英伟达。假如有选择的话,主流大厂肯定乐意采购英伟达的推理解决方案。国内厂商的问题是在芯片禁令之下没有选择,在推理端进行国产替代总归比没有强。

问:怎么看Groq以及国内某些厂商推出的“远超英伟达”的推理卡?

答:在高度特化的技术路线下,确实有可能做出表观技术远超英伟达同期产品的推理卡——但是付出的代价是应用场景十分狭窄。这样的显卡不仅只胜任大模型推理,甚至可能仅胜任某一特定类型的推理。大厂建立数据中心需要考虑通用性以及后续升级需求,高度特化的显卡无法满足这些需求。上面提到过,云游戏使用的显卡可以用于推理,但高度特化的推理卡可以执行图形渲染任务吗?可以执行自动驾驶等非生成式的推理任务吗?

而且,硅谷那些不差钱的大厂,现在流行以“大卡”同时执行训练和推理任务:速度更快、更具灵活性、管理起来更方便。你的训练任务在全年之中不是平均分布的,可能这三个月训练消耗的算力多一些,接下来推理消耗的算力多一些,统一组建“大卡”集群有助于提升灵活性。当然,这样做不够经济,所以推理任务主要还是得由推理卡去执行。我只是想说,英伟达在训练端和推理端的护城河是相辅相成的,不是彼此孤立的。

问:绕过芯片禁令的可能性大吗?目前大家的替代方案是什么?

答:很多人认为,芯片禁令可以以“非正常”手段绕过。但他们忽视了两点:第一,英伟达高端显卡近年来一直供不应求,所以不存在庞大的二手及散货市场,哪怕是海外大厂淘汰下来的显卡一般也是内部发挥余热。第二,即便你能绕过英伟达官方销售获得一些显卡,也无法获得技术支持。

H系列和B系列训练卡都不是单片出售的,而是以服务器(训练机)为单位出售。B系列训练机已经非常像高端数控机床这样的高精尖设备,内部可以植入地理位置判断系统,发现地理位置偏移之后可以自动停机。所以无论在理论上还是实践中,只要英伟达愿意认真执行芯片禁令,就是很难绕过的。虽然英伟达肯定愿意多卖几个客户、开拓中国市场,但现在它的显卡反正不愁卖,短期内也不可能主动承担破坏禁令的风险。

当然,一切都是可以谈的。只要双方都想认真做生意,拿出一些东西做交换,没有什么生意是一定做不成的。关键看大家做生意的意愿有多强烈了!我们不能低估解决问题的难度——因为只有充分估计难度,才能站在现实角度解决问题。片面低估难度并装做问题已经解决是不可取的,相信真正的从业者不会这样做。

文章转载自:业界 非本站原创

标签:紧缺

热门文章

  1. 女子开领克01误踩油门撞路边摊 300元买下掉落卤味 网友:进货的吧2024-06-20
  2. 女子遛狗被拽倒索赔8千 法院:因狗绳太长担次责2024-06-20
  3. 安聪慧:销售反映极氪009光辉78.9万元卖低了 二级市场都在加价2024-06-20
  4. 两部门要求规范电动自行车充电收费:价费分离、严格明码标价2024-06-20
  5. 苹果AI已与百度、阿里、百川等中国企业接触:你希望是哪家2024-06-20
  6. 武大校长毕业致辞提雷军:他多次跨界创业 从不被挫折打倒2024-06-20
  7. 一图读懂一加冰川电池:引领智能手机续航革命2024-06-20
  8. 林更新彻底破大防:好友表示演得真好 恨得牙痒痒2024-06-20
  9. 韩国麦当劳暂时停止销售炸薯条:内部供应链出问题2024-06-20
  10. 华为4G新机首次亮相!Mate 60同款圆环后摄 双曲OLED屏2024-06-20
  11. 胖东来爆改永辉:开业首日卖了188万 销售额暴涨2024-06-20
  12. 马斯克最新专访:我宁愿亲眼见证AI毁灭人类2024-06-20
  13. 华为头功!问界系智驾里程达2.65亿公里、近期日增235万2024-06-20
  14. 马斯克:拒投人类永生项目 活太久会导致社会僵化2024-06-20
  15. Hedra保姆级教程:如何让你的照片开口说话还带表情2024-06-20
  16. 小米15系列或将首发高通骁龙8 Gen42024-06-20
  17. 马斯克称做决策从不依赖调研:用户不会主动要求一个全新产品2024-06-20
  18. 一场直播进账超百万,美甲成了最新的财富密码?2024-06-20
  19. 微信输入法1.2.0正式版Win/Mac端双更新:AI问答功能来了2024-06-20
  20. 马斯克:对长生不老不感兴趣 活太久会导致社会僵化2024-06-20
  21. 女子误踩油门撞路边摊 买下掉落卤味:回家吃到吐2024-06-20
  22. 长安汽车总裁:想进汽车行业工作 大学几乎所有专业都可以2024-06-20
  23. AI日报:前百度高管推AI搜索产品Genspark;Kimi内测上下文缓存功能;TikTok推AI全家桶Symphony;橙篇已支持10万字长文生成2024-06-20
  24. 雷军骑自行车上班引网友共鸣:找到我和雷军的共同点了2024-06-20
  25. 这三年,互联网大厂们关闭的业务线,数不胜数2024-06-20
  26. 前百度高管想要再造一个“百度”2024-06-20
  27. 一加宣布Ace 3 Pro搭载骁龙8 Gen3:行业首次征服性能重载无人区2024-06-20
  28. 首发冰川电池续航灭霸!一加Ace 3 Pro下周见2024-06-20
  29. AI下的首批失业者:60余人采编团队被裁 只剩一个与AI合作2024-06-20
  30. 距地球3.6亿光年超大黑洞苏醒 开始吞噬周围一切物质2024-06-20
徒诗怡 微信号:徒诗怡 扫描二维码关注公众号
爱八卦,爱爆料。

小编推荐

  1. 1 06月21日快讯:欧洲主要股指集体收涨,德国DAX30指数涨0.99%

    欧洲主要股指集体收涨,德国DAX30指数涨0.99%,英国富时100指数涨0.84%,法国CAC40指数涨1.34%,欧洲斯托克50指数涨1.3%。文章转载自:界面新闻网 非本站

  2. 2 06月21日快讯:龙佰集团:公司控股股东、实际控制人因遗产继承变更

    龙佰集团6月20日公告,公司原控股股东、实际控制人、名誉董事长许刚因病医治无效不幸离世,许刚生前直接持有公司股份26.25%,为公司原控股股东

  3. 3 3d每期必中的万能5码(3d万能5码天天中奖)

    大家好,小伟今天来为大家解答3d每期必中的万能5码以下问题,3d万能5码天天中奖很多人还不知道,现在让我们一起来看看吧!1、(和值+跨度+6)×61

  4. 4 atiradeonhd545v(atiradeonhd545v)

    大家好,小乐今天来为大家解答atiradeonhd545v以下问题,atiradeonhd545v很多人还不知道,现在让我们一起来看看吧!1、ATI Mobility Radeon HD 545v是一款已经停

  5. 5 只想一生跟你走歌词表达什么意思(只想一生跟你走是什么歌)

    大家好,小豪今天来为大家解答只想一生跟你走歌词表达什么意思以下问题,只想一生跟你走是什么歌很多人还不知道,现在让我们一起来看看吧!

  6. 6 勾引中年女人的方法(勾引中年女人的方法)

    大家好,小伟今天来为大家解答勾引中年女人的方法以下问题,勾引中年女人的方法很多人还不知道,现在让我们一起来看看吧!1、吸引已婚女性的

  7. 7 电脑插入耳机没有声音怎么解决(电脑插耳机没有声音怎么处理)

    大家好,小乐今天来为大家解答电脑插入耳机没有声音怎么解决以下问题,电脑插耳机没有声音怎么处理很多人还不知道,现在让我们一起来看看吧

  8. 8 007演员(007演员的扮演者正确排序)

    大家好,小伟今天来为大家解答007演员以下问题,007演员的扮演者正确排序很多人还不知道,现在让我们一起来看看吧!1、肖恩·康纳利 出生于苏格

  9. 9 宰相刘罗锅剧情(宰相刘罗锅剧情介绍结局)

    大家好,小娟今天来为大家解答宰相刘罗锅剧情以下问题,宰相刘罗锅剧情介绍结局很多人还不知道,现在让我们一起来看看吧!1、宰相刘罗锅剧情

  10. 10 关于平安行销管理系统的介绍(平安e行销)

    大家好,小娟今天来为大家解答关于平安行销管理系统的介绍以下问题,平安e行销很多人还不知道,现在让我们一起来看看吧!1、平安e行销是一种

  11. 11 脚痒(脚痒用什么方法止痒最有效)

    大家好,小乐今天来为大家解答脚痒以下问题,脚痒用什么方法止痒最有效很多人还不知道,现在让我们一起来看看吧!1、泡脚缓解脚痒孕妈妈们

  12. 12 06月20日快讯:美股“三巨头”合计市值突破10万亿美元,为史上首次

    英伟达涨超3%,再创纪录新高,总市值已经高达3.43万亿美元。随着以英伟达、微软、苹果为首的科技巨头持续创出新高,这三家公司合计市值已高达

  13. 13 06月20日快讯:*ST宁科:公司预重整能否成功存在不确定性

    *ST宁科6月20日公告,公司预重整能否成功存在不确定性,如果公司预重整成功,法院将依法审查是否受理重整申请。公司是否进入重整程序尚具有不

  14. 14 小米小爱触屏音箱使用说明(小米小爱随身音箱怎么使用教程)

    大家好,小娟今天来为大家解答小米小爱触屏音箱使用说明以下问题,小米小爱随身音箱怎么使用教程很多人还不知道,现在让我们一起来看看吧!

  15. 15 病史采集包括哪些内容(病史采集的定义和重要性)

    大家好,小丽今天来为大家解答病史采集包括哪些内容以下问题,病史采集的定义和重要性很多人还不知道,现在让我们一起来看看吧!

    1、问题一

  16. 16 8021x.exe(8021x.exe)

    大家好,小娟今天来为大家解答8021x.exe以下问题,8021x.exe很多人还不知道,现在让我们一起来看看吧!1、8021x.exe通常是一个与802.1X认证协议相关的后

  17. 17 天之炽漫画到哪可以看到(天之炽漫画下拉)

    大家好,小豪今天来为大家解答天之炽漫画到哪可以看到以下问题,天之炽漫画下拉很多人还不知道,现在让我们一起来看看吧!1、第一个是飒漫画

  18. 18 企业年度工作计划范文(企业年度工作计划范文简短)

    大家好,小豪今天来为大家解答企业年度工作计划范文以下问题,企业年度工作计划范文简短很多人还不知道,现在让我们一起来看看吧!1、公司年

  19. 19 孤蓬万里征(孤蓬万里征)

    大家好,小豪今天来为大家解答孤蓬万里征以下问题,孤蓬万里征很多人还不知道,现在让我们一起来看看吧!1、②一:助词,加强语气。2、青山横

  20. 20 求一张ps牛皮纸背景图片(求一张ps牛皮纸背景图片)

    大家好,小美今天来为大家解答求一张ps牛皮纸背景图片以下问题,求一张ps牛皮纸背景图片很多人还不知道,现在让我们一起来看看吧!1、牛皮纸背

Copyright 2024 看看网,让大家及时掌握各行各业第一手资讯新闻!