所在位置: 首页 > 实时讯息 >

华为发布准万亿大模型

0次浏览     发布时间:2025-05-31 00:03:00    

近日,华为在MoE模型训练领域再进一步,重磅推出参数规模高达7180亿的全新模型——盘古UltraMoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古UltraMoE模型架构和训练方法的技术报告,披露众多技术细节,充分体现了昇腾在超大规模MoE训练性能上的跨越。

训练超大规模和极高稀疏性的MoE模型极具挑战,训练过程中的稳定性往往难以保障。针对这一难题,盘古团队在模型架构和训练方法上进行了创新性设计,成功地在昇腾平台上实现了准万亿MoE模型的全流程训练。

此外,近期发布的盘古ProMoE大模型,在参数量仅为720亿,激活160亿参数量的情况下,通过动态激活专家网络的创新设计,实现了以小打大的优异性能,甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上,位居千亿参数量以内大模型排行并列国内第一。

华为盘古UltraMoE和盘古ProMoE系列模型的发布,证明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践,同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设施的自主创新能力得到了进一步验证,为中国人工智能产业的发展提供了一颗“定心丸”。

(来源:观察者网)

  • 相关文章
  • 21专访|富民银行赵卫星:金融大模型构建算法银行新范式

    21世纪经济报道记者 边万莉 实习生 余姿桦 上海报道“当算法读懂人性的金融需求,银行将不再是一座冰冷的金库,而成为流淌着智慧与温情的金融生命体。”近日,重庆富民银行行长赵卫星在2025中国国际金融展上演讲时如是说。自金融大模型兴起以来,银行业的运营逻辑与服务范式正在经历深层重构。对中小银行而言,尽

    2025-06-30 12:51:00
  • 余承东:坚持每年投入超60亿元支持和激励鸿蒙开发者们持续创新

    观点网讯:6月19日,华为常务董事、终端BG董事长余承东在视频中宣布,“鸿蒙生态不仅是做出来的,更是用出来的!”并称华为每年投入超60亿元支持开发者创新,此举在2025华为开发者大会前夕强调生态实用性。余承东表示,鸿蒙应用市场日均更新应用超400个,体现生态活跃度。免责声明:本文内容与数据由观点根据

    2025-06-20 00:01:00
  • 华为发布准万亿大模型

    近日,华为在MoE模型训练领域再进一步,重磅推出参数规模高达7180亿的全新模型——盘古UltraMoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古UltraMoE模型架构和训练方法的技术报告,披露众多技术细节,充分体现了昇腾在超大规模MoE训练性能上的跨越。训练超大

    2025-05-31 00:03:00
  • 进入福布斯榜单,成都这两家人工智能企业凭什么?

    5月11日,2025福布斯中国人工智能科技企业TOP 50评选发布,成都有两家企业入选,分别是成都恒图科技有限责任公司(以下简称“恒图科技”)和成都考拉悠然科技有限公司(以下简称“考拉悠然”),其中恒图科技位列第5,考拉悠然位列第18。据了解,此次评选聚焦中国人工智能产业核心赛道,寻找和甄选出中国人

    2025-05-12 21:38:00
  • 32位与64位系统有何区别?一文读懂内存与性能差异

    重装系统时,常需选择安装32位还是64位系统。本教程将分享两者的关键区别与重要信息,帮助大家了解并做出合适的选择。1、 32位与64位操作系统有何不同?2、 32位与64位均指计算机CPU处理信息的方式。其中,64位操作系统可处理更大容量的RAM数据,支持更多内容,信息处理效率也高于32位系统。这使

    2025-05-06 17:58:00