蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上

专题:2026北京智源大会

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向	,生成速度可达传统模型4倍以上-第1张图片

  6月12日至13日,2026第八届北京智源大会在北京中关村国际创新中心举行。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲 。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第2张图片

  李建国表示 ,扩散模型或将成为语言模型下一阶段的重要发展方向和补充 ,其在生成速度和可编辑性方面展现出显著优势。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第3张图片

  他解释到,扩散模型在图像生成领域已是主流范式 ,应用非常广泛。正向过程是通过对图像逐步添加噪声直至变为白噪声,反向过程是从白噪声中逐步去噪,恢复出原始图像 。

  而在语言领域 ,当前主流范式是“Next Token Prediction ” 。“就像打字机一样,我前面打出一个字,后面接着就依赖前面去产生下一个字。扩散语言模型则将图像领域的范式迁移到语言中 ,可以像印刷机一样批量、成批地输出词元。”

  李建国以今年2月发布的LLaDA 2.1模型(可编辑扩散生成)与蚂蚁百灵2.0模型(100B参数)对比为例 。LLaDA的生成速度约为1000 token/秒,而百灵2.0约为200 token/秒,速度相差4倍以上。

  他指出 ,从核心特性看,有两个速度,一个是传统的AR模型 ,一次只输出一个token ,即使采用投机采样方法(如MTP)也只能做到2-3个。另外一个速度,就是扩散语言模型,起步平均能做到5-6个 ,在代码生成 、智能体等场景中,实际观察可超过10个,最高可达15个 。

  此外 ,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误,可以通过“悔改”机制只修改错误的那一个位置,而无需重新生成整个序列。

  新浪声明:所有会议实录均为现场速记整理 ,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述 。

标签:

相关推荐

  • SpaceX开盘价较发行价高出11% 马斯克成全球首位万亿富豪

    SpaceX开盘价较发行价高出11% 马斯克成全球首位万亿富豪

    专题:马斯克旗下SpaceX登录纳斯达克成为史上最大IPO  埃隆·马斯克旗下SpaceX股票周五上市首日开盘上涨;公司750亿美元的IPO缔造历史,并一举跻身全球最大上市公司之列。  纽约时间上午11:46,该股在纳斯达克首笔交易报150美元,较135美元发行价高11%,随后一度升至163美元。按这一价格计算,马斯克成为了全球首位万亿富豪。  6...

    2026/06/13
  • 【南京疫情,南京疫情防控倡议书】

    【南京疫情,南京疫情防控倡议书】

    南京疫情源头究竟是哪里?南京这波疫情爆发主要源于禄口机场的管理漏洞,并因医院、政府等多层面应对不力而扩散,具体如下:禄口机场管理漏洞是疫情爆发的核心原因保洁员感染:7月20日,南京禄口机场进行常规核酸检测,9名机场保洁员检测结果呈阳性。总结起来,2021年南京疫情的直接原因是德尔塔毒株的传播,而具体事件的核心是保洁员在清扫俄罗斯入境航班后,由于防护洗脱不...

    2026/06/13
  • 【全国各地疫情峰值,中国疫情峰值数据】

    【全国各地疫情峰值,中国疫情峰值数据】

    2022年疫情峰值在什么时候疫情在2022年12月下旬达高峰后持续下降,各省走势相近,城乡同步。核酸检测阳性率于2022年12月25日达22%的峰值,抗原检测阳性率于12月22日达23%的峰值,均于2023年1月下旬降至6%以下。发热门诊就诊人数较峰值下降超90%,阳性重症患者从18万人回落至6万人,在院死亡病例数从每天4273人降至896人。022年12...

  • 新疆新增本土确诊6例(新疆新增6例本土确诊病例)

    新疆新增本土确诊6例(新疆新增6例本土确诊病例)

    31省新增确诊21例,本土6例在辽宁?个省(自治区、直辖市)和新疆生产建设兵团报告新增确诊病例21例,其中境外输入病例15例(内蒙古6例,浙江3例,上海2例,北京1例,天津1例,广东1例,四川1例),本土病例6例(均在辽宁);无新增死亡病例;新增疑似病例1例,为境外输入病例(在上海)。当日新增治愈出院病例16例,解除医学观察的密切接触者728人,重症病例较...

  • 31省份新增本土确诊6例在辽宁云南(31省份新增确诊9例本土1例在云南)

    31省份新增本土确诊6例在辽宁云南(31省份新增确诊9例本土1例在云南)

    31省份新增本土“2971+21355”是怎么回事,这是咋情况?〖壹〗、个省(自治区、直辖市)和新疆生产建设兵团报告新增本土确诊病例2971例,新增本土无症状感染者21355例。31省份新增6例本土确诊,在辽宁、云南,这些确诊者的活动轨迹是怎样的...〖壹〗、有报道称31省份新增了六例本土确诊病例,分别处于辽宁和云南,辽宁有5例确诊病例,云南有一例确诊病...

  • 31省新增24例确诊/31省份新增本土确诊24

    31省新增24例确诊/31省份新增本土确诊24

    12月4日0时至24时淮安新增确诊病例1例+无症状感染者24例淮安市疫情防控通告根据省卫健委12月5日发布,12月4日0时至24时,我市新增新冠肺炎确诊病例轻型1例,新增无症状感染者24例。确诊病例1:系闭环接驳管理的省外来淮人员,在洪泽区居家隔离中发现。隔离前在我市无社会面活动轨迹。无症状感染者1:系省外来淮人员,在清江浦区集中隔离点发现。无症状感染者4...

  • 2022元旦高速免费通行么/2022年元旦高速是否免费

    2022元旦高速免费通行么/2022年元旦高速是否免费

    2022年北京元旦高速收费吗?〖壹〗、022年北京元旦期间高速公路收费,不实行免费通行政策。以下是具体说明:政策依据:根据相关通知,2022年元旦假日期间(1月1日至3日),北京高速公路未被纳入免费通行范围,因此正常收费。交通量预测:期间日均交通量预计达193万辆,郊区热门滑雪场及温泉周边道路可能出现车流集中现象,建议提前规划路线。〖贰〗、022年元旦高速...

  • 感染高峰进度/感染高风险因素控制措施

    感染高峰进度/感染高风险因素控制措施

    怎么查全国各地城市感染高峰进度全国各地城市感染高峰进度在APP查询。打开APP,进入“我的页面”,点击“我的小程序”图标。进入小程序中心,搜索“城市数据团”。在搜索页打开官方小程序。进入小程序主页,点击“查看全国数据”选项。进入查询页,即可查看全国各城市感染高峰进度表。可以通过多个途径来查询全国各地城市感染高峰进度。具体来说,可以访问国家卫生健康委员会或各...

    2026/06/13
  • 新冠疫情结束(新冠疫情结束时间)

    新冠疫情结束(新冠疫情结束时间)

    新冠疫情起始于哪一年,又是在哪一年结束的?新冠疫情起始于2019年。2019年12月,湖北省武汉市陆续发现多例不明原因肺炎病例,后被确定为新型冠状病毒肺炎。关于结束时间新冠疫情并没有一个绝对意义上全球统一的“结束”节点。不同国家和地区根据自身疫情形势、防控政策调整等因素,在不同阶段宣布进入新的阶段。2019年12月31日,新型冠状病毒肺炎(COVID-1...

    2026/06/13
  • 【31省份新增本土确诊101例陕西92例,新增疑似病例1例,为本土病例在陕西】

    【31省份新增本土确诊101例陕西92例,新增疑似病例1例,为本土病例在陕西】

    2月24日31省份增82例本土确诊涉13省市月23日0—24时,31个省(自治区、直辖市)和新疆生产建设兵团报告新增本土确诊病例85例,分布于多个省份,主要与局部地区疫情反弹及境外输入关联的本土传播有关。月23日0—24时,31个省和新疆生产建设兵团报告新增本土病例85例。新增本土无症状感染者24例。2月8日—23日,葫芦岛市累计报告本土确诊病例167例。...

返回顶部