AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为AMD-135M”。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族，有两个版本：

一是基础型AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。

创建与部署流程

它使用了一种名为推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。

这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。

比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。

推测解码

AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。

按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

文章转载自：业界 非本站原创

标签：
  1. 上一篇：小米SU7月交付再破万台 雷军直播承诺：10月破2万！
  2. 下一篇：高速夜间堵车司机熄火睡觉 被无人机叫醒 网友：飞行闹钟

热门文章

  1. 滑雪事故11年后 曝车王舒马赫公开露面：参加女儿婚礼2024-10-03
  2. 辛巴去胖东来考察：跟于东来参观了胖东来时代广场店2024-10-03
  3. 供应过剩也不行：国际油价还要跌 全球产量提升2024-10-03
  4. 智界R7、问界M9大卖！鸿蒙智行国庆两天大定8800台2024-10-03
  5. 中国独有！华东地区发现鱼类新物种虹彩马口鱼2024-10-03
  6. 惨！新能源车没电趴窝停在高速行车道 竟被罚款200元、记3分：网友称不冤2024-10-03
  7. 比亚迪方程豹汽车与中国火箭正式合作：将参与航天保障工作2024-10-03
  8. 贾跃亭花自己工资买公司股票 ：对FF及FX双品牌战略有坚定信心2024-10-03
  9. 说涨价就涨价！英伟达一直领跑GPU市场 英特尔AMD快被行业淘汰2024-10-03
  10. 2024国庆档新片票房破11亿 《志愿军：存亡之战》位居第一2024-10-03
  11. 2024年诺贝尔奖来了：10月7日至14日陆续揭晓2024-10-03
  12. 10月8日公测！纯血鸿蒙来了：系统更流畅 让麒麟性能媲美骁龙8Gen32024-10-03
  13. 新势力车企9月交付量：理想超5万，零跑超3万，小鹏、蔚来超2万辆2024-10-03
  14. 本土产一颗卖80元！韩国计划每周从中国进口200吨大白菜2024-10-03
  15. 可惜了！河南1000万彩票无人领奖成弃奖 网友直呼浪费好运气2024-10-03
  16. 小米独占中国智能音箱过半份额 百度 天猫精灵联手都打不过2024-10-03
  17. 国庆假期人人人人景点人人人人！专家呼唤：带薪休假真正落地落实2024-10-03
  18. 雷军：国庆假期使用小米SU7智能驾驶 这四种极限场景须果断接管2024-10-03
  19. 9999元！机构送iPhone 16 Pro物料成本拆解：苹果造一部3400元2024-10-03
  20. 广场屏幕惊现直播玩《黑神话：悟空》 网友：都看到你上班打游戏了2024-10-03
  21. 小米米家首款！米家空调自然风Pro上出风1.5匹开售：自研算法 3499元2024-10-03
  22. 《英雄联盟》S14全球总决赛瑞士轮明天开打：中国LPL世界赛首战2024-10-03
  23. OPPO Find X8曝光：后置三摄模组焕然一新2024-10-03
  24. 2024年车企KPI完成度榜单出炉：提前交付10万辆的小米汽车竟不是第一2024-10-03
  25. 微软Win11 24H2正式删除写字板！核心程序仍保留2024-10-03
  26. 马斯克遭到特斯拉股东起诉：涉嫌夸大FSD能力2024-10-03
  27. 老外参观小米工厂惊呼中国科技过于先进：SU7卖价不超30万太实惠2024-10-03
  28. 交强险全免！别克推出国庆限时优惠活动 全系可享2024-10-03
  29. 3052.5万起！阿斯顿·马丁Valiant已于国内正式上市2024-10-03
  30. 新款14英寸MacBook Pro包装曝光：M4芯片成焦点2024-10-03
屠书伟 微信号：屠书伟 扫描二维码关注公众号
爱八卦，爱爆料。

小编推荐

  1. 1 关于船到江心补漏迟的介绍（船到江心补什么迟）

    大家好，小丽今天来为大家解答关于船到江心补漏迟的介绍以下问题，船到江心补什么迟很多人还不知道，现在让我们一起来看看吧！1、意思：是指
  2. 2 电脑home键是什么意思（电脑home键是什么键在哪儿）

    大家好，小丽今天来为大家解答电脑home键是什么意思以下问题，电脑home键是什么键在哪儿很多人还不知道，现在让我们一起来看看吧！1、电脑方面
  3. 3 好记性不如烂笔头下一句（好记性不如烂笔头的意思是什么意思）

    大家好，小豪今天来为大家解答好记性不如烂笔头下一句以下问题，好记性不如烂笔头的意思是什么意思很多人还不知道，现在让我们一起来看看吧
  4. 4 10月03日快讯：美股三大指数集体低开

    美股三大指数集体低开，道指跌0.25%，纳指跌0.38%，标普500指数跌0.24%。热门中概股走低，哔哩哔哩跌超7%，百度跌超5%，蔚来汽车、京东、小鹏汽车跌
  5. 5 10月03日快讯：英伟达日内涨幅扩大至3%

    英伟达日内涨幅扩大至3%，现报122.4美元/股。文章转载自：界面新闻网 非本站原创
  6. 6 阿玛尼气垫和圣罗兰气垫对比（阿玛尼气垫和粉底液哪个好用）

    大家好，小伟今天来为大家解答阿玛尼气垫和圣罗兰气垫对比以下问题，阿玛尼气垫和粉底液哪个好用很多人还不知道，现在让我们一起来看看吧！
  7. 7 小学三年级语文上册看拼音写词（小学三年级语文上册课本内容）

    大家好，小伟今天来为大家解答小学三年级语文上册看拼音写词以下问题，小学三年级语文上册课本内容很多人还不知道，现在让我们一起来看看吧
  8. 8 父母财产分割协议有效吗（父母财产分配协议书规范文本）

    大家好，小豪今天来为大家解答父母财产分割协议有效吗以下问题，父母财产分配协议书规范文本很多人还不知道，现在让我们一起来看看吧！1、如
  9. 9 关于响马传的介绍（响马传拼音）

    大家好，小豪今天来为大家解答关于响马传的介绍以下问题，响马传拼音很多人还不知道，现在让我们一起来看看吧！1、响马传京剧传统剧目，剧情
  10. 10 10月03日快讯：比亚迪：获摩根大通增持近18亿港元H股

    港交所披露文件显示，比亚迪股份获摩根大通于9月27日增持约652万股H股，平均成交价为274.5244港元，涉资约17.91亿港元，此后摩根大通持仓比例由4.
  11. 11 七龙珠online手游（七龙珠网络手游）

    大家好，小伟今天来为大家解答七龙珠online手游以下问题，七龙珠网络手游很多人还不知道，现在让我们一起来看看吧！1、游戏介绍七星龙珠手游是
  12. 12 怎么看一个网页的代码（safari查看网页源代码）

    大家好，小伟今天来为大家解答怎么看一个网页的代码以下问题，safari查看网页源代码很多人还不知道，现在让我们一起来看看吧！1、打开一个网页
  13. 13 暧昧歌曲（暧昧歌曲粤语）

    大家好，小娟今天来为大家解答暧昧歌曲以下问题，暧昧歌曲粤语很多人还不知道，现在让我们一起来看看吧！1、作词：薛之谦 作曲：薛之谦 演唱
  14. 14 周传雄冬天的秘密（孟子义周传雄冬天的秘密）

    大家好，小乐今天来为大家解答周传雄冬天的秘密以下问题，孟子义周传雄冬天的秘密很多人还不知道，现在让我们一起来看看吧！1、温暖冬天就会
  15. 15 关于北京化工大学职业技术学院的介绍（北京化工大学职业技术学院怎么样）

    大家好，小美今天来为大家解答关于北京化工大学职业技术学院的介绍以下问题，北京化工大学职业技术学院怎么样很多人还不知道，现在让我们一
  16. 16 上学歌歌词文字（上学歌的歌词和歌谱）

    大家好，小美今天来为大家解答上学歌歌词文字以下问题，上学歌的歌词和歌谱很多人还不知道，现在让我们一起来看看吧！1、歌名：《上学歌》演
  17. 17 世界第一等mp3下载微盘（世界第一等mp3下载刘德华）

    大家好，小美今天来为大家解答世界第一等mp3下载微盘以下问题，世界第一等mp3下载刘德华很多人还不知道，现在让我们一起来看看吧！本文到
  18. 18 qq手机同步助手（qq手机同步助手怎么同步软件）

    大家好，小娟今天来为大家解答qq手机同步助手以下问题，qq手机同步助手怎么同步软件很多人还不知道，现在让我们一起来看看吧！1、打开手机里的
  19. 19 觌（觌面是什么意思）

    大家好，小豪今天来为大家解答觌以下问题，觌面是什么意思很多人还不知道，现在让我们一起来看看吧！1、觌的拼音 [dí]部首：见 笔画：12 五笔：
  20. 20 10月03日快讯：渣打集团：斥资1377.55万英镑回购173.94万股

    渣打集团在港交所公告，于10月2日斥资1377.55万英镑回购股份合共173.94万股。文章转载自：界面新闻网 非本站原创

Copyright 2024 看看网，让大家及时掌握各行各业第一手资讯新闻！