如何炼成全球参数最大开源模型

来源:人民日报2026-07-29 11:37

7月27日,我国科技企业月之暗面发布Kimi K3的模型权重、技术报告,正式开源Kimi K3,人人都可下载。Kimi K3是月之暗面开发的AI(人工智能)大模型,于7月17日发布,是全球参数最大的开源模型。该模型总参数达到2.8万亿,原生支持视觉理解,具备100万词元上下文窗口,主要面向长程编程、知识工作和复杂推理等场景。

在大模型编码评估系统Frontend Code Arena榜单中,Kimi K3以1679分位居榜首,超过Claude Fable 5、GPT—5.6 Sol等闭源模型,这也是开源模型首次在该榜单上超过闭源模型并登顶。

在大模型研发中,参数规模是关键变量。参数就像人脑里的神经连接,它决定模型“能装下多少知识”。参数越大,能力的上限越高,也就可以提供更智能的模型表现。2.8万亿参数,意味着模型能把更多的知识和规律装进“脑子”,懂得更多、想得更深、答得更准。

注意力机制同样重要。自2017年Transformer架构提出以来,注意力机制就成为全球主流大模型的技术基石之一。注意力机制决定了模型“会不会抓重点”,能不能从海量信息中快速找到关键、建立联系并形成答案。传统全注意力机制在处理长文本时,计算量随文本长度接近平方级增长——模型“读”的内容增加1倍,计算量就增至约4倍,这正是超长文本难落地的关键原因。

Kimi K3的突破,不只是参数大、“装得多”,还在于处理信息的方式更高效。首先,它应用了月之暗面提出的一种创新的线性注意力模块——KDA混合线性注意力机制,通过混合线性设计,把计算量降到接近线性增长。这意味着在同等算力条件下,模型能“读”得更长、处理更多信息、完成更复杂任务。

另一方面,模型越大、层数越多,信息传递的“路程”就越长,信号容易衰减、失真,训练也越容易失败,这是全球大模型开发共同面对的工程难题。月之暗面开发的注意力残差技术,则改进了信息在不同网络层之间的传递和复用方式,相当于为巨型模型加装了一套“稳定器”,让2.8万亿参数能稳定高效地用起来。

在训练新一代基座大模型的过程中,月之暗面使用了自主研发的底层模型架构,并积累形成了一整套科学的模型训练方法。如果说KDA混合线性注意力机制回答的是“超长文本怎样算得更省”,注意力残差技术回答的就是“超大模型怎样训练得更稳”。两项技术共同表明,我国大模型企业的竞争力,正从扩大参数规模延伸到基础架构和原创算法层面。

性能强、成本低,使得中国大模型成为全球开发者的重要选择。

全球人工智能模型聚合平台OpenRouter的数据显示,7月20日至26日,中国大模型周调用量达33万亿词元,连续13周稳居全球首位。高盛集团认为,中国开源及开放权重模型的智能水平,正在达到面向全球扩散的关键临界点;预计2026年下半年,中国可能出现更多总参数达到2万亿至5万亿的大模型。

在月之暗面创始人兼首席执行官杨植麟看来,从部分性能在全球大模型榜单登顶,到多模态模型能力攀升,再到单个智能体衍生出智能体集群,中国大模型的发展壮大不仅体现在数量上,更体现在质量、应用深度和全球影响力等多方面。

北京中关村学院院长刘铁岩认为,一批中国开源大模型从“单点亮相”走向“群体突破”,为世界人工智能发展提供了新方案、新路径,将加快推动人工智能技术向上向善发展。

  • 山东临沂沂河新区通报“一处独立平房院落发生爆炸”:疑似院落租户非法储存捕鱼爆炸物引发爆炸,目前已致1人死亡、2人失联

    2026年8月21日15时38分,沂河新区王桥社区内一处独立平房院落发生爆炸。事故发生后,公安、消防、应急、住建等相关部门成立联合工作组,第一时间赶赴现场开展应急救援。截至目前,1人死亡,2人失联,其
    临沂沂河新区网站
    2026-08-21 22:02
  • 今年第19号台风生成 广东启动防风Ⅳ级应急响应

    根据气象部门监测预报,原位于北部湾海面的热带低压已于8月21日17时加强为今年第19号台风,其中心位于湛江市徐闻县西偏北方向约160公里的北部湾海面上,中心附近最大风力8级(18米/秒)。预计,其将于
    央视新闻客户端
    2026-08-21 20:38
  • 45批次食品抽检不合格 市场监管总局通报

    记者今天了解到,市场监管总局近期组织食品安全监督抽检2325批次样品,检出45批次样品不合格。对抽检发现的不合格食品,有关省级市场监管部门已组织开展核查处置。 监督抽检不合格食品具体情况如下: (
    央视新闻客户端
    2026-08-21 20:34
  • 晶采观察丨县域消费迎重磅利好 18条举措激发下沉市场活力

    8月18日,商务部等9部门联合印发《关于进一步激发下沉市场活力活跃县域消费的意见》(以下简称《意见》),围绕优化县域商业环境、丰富县域消费供给、增强消费保障能力、强化要素集成四大方面提出18条具体举措
    央广网
    2026-08-21 20:30
  • 何以中国·非遗芳华有弦歌|杨家埠木版年画——画版千张藏烟火

    新黄河
    2026-08-21 20:22
  • 活力中国调研行|还江于民 漳州打造田园都市新名片

    一块“生态伤疤”如何蝶变为城市新名片?近日,新华社记者跟随“活力中国调研行”采访团来到福建省漳州市,行走西溪江畔,感受当地还江于民、兴水利民的建设成效。 这是8月19日拍摄的漳州龙江岁月园区一角。新
    新华社
    2026-08-21 20:21
  • 理响中国·问道第一线|外卖骑手高丰:“十五五”看着大,其实就在身边

    送外卖也能救人?骑手也能当人大代表?国家发展战略和规划跟你我有什么关系?高丰用自己的经历,把这些问号拉直成了感叹号。 他是全国首位获评“全国优秀共产党员”的外卖骑手。在获得这个荣誉之前,他已经在路上
    光明网
    2026-08-21 20:17
  • 活力中国调研行 | 这里的墙体会呼吸?叩开百年土楼密码

    土楼巍巍,夯土脉脉。作为世界文化遗产,漳州南靖土楼承载着客家先民的营造智慧与百年乡土文脉。 土楼之美,藏于古法匠心。在南靖,土楼营造技艺历经数百年传承,一土一木、一夯一筑皆有章法。今年已过八旬的土楼
    人民日报客户端福建频道
    2026-08-21 20:08
  • 财经聚焦丨“千集万店”焕新 释放下沉市场潜力

    天蒙蒙亮,四川省德阳市中江县朝阳东路上,新建的东门农贸市场已经热闹起来。市场内,钢结构大棚遮风避雨,摊位干净整洁,放心肉、农家菜、粮油干货等应有尽有。 这个由旧厂房改造而来的新型农贸市场,不仅解决了
    新华社
    2026-08-21 20:08
  • 装修、交物业费可提取!公积金用途有了这些新变化

    时隔7年,《住房公积金管理条例》再次进行修订,将于9月20日起正式施行。这次修订因何而修?都有哪些重要变化?更好顺应市场发展,满足多样化住房需求,还有哪些政策推进值得关注? 公积金制度为什么要改?
    央视新闻客户端
    2026-08-21 20:05
  • 中央网络安全和信息化委员会印发《促进网信企业高质量发展行动计划(2026-2030年)》

    近日,中央网络安全和信息化委员会印发《促进网信企业高质量发展行动计划(2026-2030年)》(以下简称《行动计划》),深入贯彻党中央关于网络强国建设和“十五五”时期网信工作有关部署,促进网信企业高质
    网信中国
    2026-08-21 20:04
  • 中国民航局:7月份民航旅客运输量同比增长3.9%

    中国民航局21日发布消息,7月份,民航旅客运输量7462.9万人次,同比增长3.9%。正班客座率86.3%。 中国民航局当日公布民航7月份主要生产指标统计数据。数据显示,7月份,民航国内航线旅客运输
    央视新闻客户端
    2026-08-21 19:33
  • 西江科考共发现26种新物种

    新华社广州8月21日电(记者熊嘉艺)8月21日,水利部珠江水利委员会在广州发布水生态保护与修复成果。记者从会上了解到,西江流域资源环境与生物多样性综合科学考察项目执行期间,共发现26种新物种,包括阿诗
    新华网
    2026-08-21 19:32
  • 创历史新高!我国44名专家获“IEC 1906奖”

    记者今天从国家标准委了解到,国际电工委员会(IEC)近日公布“IEC 1906奖”获奖名单。我国共有44名专家荣膺该奖项,获奖人数创历史新高,再次彰显我国在国际电工标准化领域的技术实力与不断攀升的全球
    央视新闻客户端
    2026-08-21 19:30
  • 中国第16次北冰洋考察队完成全部冰站调查

    新华社“雪龙2”号8月21日电(记者温竞华)中国第16次北冰洋考察队冰站调查工作日前全部完成,“雪龙2”号和“雪龙”号在北冰洋中央区高纬海域完成共计19个冰站的多学科综合调查工作。(完)
    新华社
    2026-08-21 19:01
  • 天天学习|关于“谁得罪谁”的问题

    编者按:作为马克思主义建党学说中国化时代化的最新成果,习近平党建思想不仅形成了系统完备的科学体系,更蕴含着坚定的理想信念、高度的历史主动、鲜明的问题导向、强烈的使命担当、深厚的为民情怀、科学的思想方法
    央视网
    2026-08-21 18:47
  • 中央气象台8月21日18时发布台风蓝色预警

    中央气象台8月21日18时发布台风蓝色预警: 北部湾热带低压已于今天(21日)下午加强为今年第19号台风(热带风暴级),下午5点钟其中心位于广西北海市西南方向约120公里的北部湾海面上,也就是北纬2
    中央气象台
    2026-08-21 18:38
  • 我国科学家发现心肌毛细血管可修建心脏应急通道

    新华社上海8月21日电(张建松、王天昊)中国科学院分子细胞科学卓越创新中心周斌研究团队最新研究发现,当心脏的冠状动脉发生堵塞、输送中断时,毛细血管会迅速启动“升级改造工程”,不断拓宽、加固,获得动脉的
    新华网
    2026-08-21 18:21
  • 水利部和中国气象局8月21日18时联合发布橙色山洪灾害气象预警

    水利部和中国气象局8月21日18时联合发布橙色山洪灾害气象预警: 预计,8月21日20时至22日20时,广西南部等地部分地区发生山洪灾害可能性较大(黄色预警),局地发生山洪灾害可能性大(橙色预警)。
    中央气象台
    2026-08-21 18:14
  • 自然资源部与中国气象局8月21日18时联合发布黄色地质灾害气象风险预警

    自然资源部与中国气象局8月21日18时联合发布黄色地质灾害气象风险预警: 预计,8月21日20时至22日20时,广西南部等地部分地区发生地质灾害的气象风险较高(黄色预警)。各级政府及有关部门按照应急
    中央气象台
    2026-08-21 18:13