DeepSeek通过MoE架构的创新让激活参数比大幅下降，使得同等效果的大模型所需的算力明显下降。“671B的模型，在处理每个问题时，被调用激活的专家模型参数仅约37B，算力需求起码降低到原来的约二十分之一。”阿里云无影事业部总裁张献涛曾在接受《每日经济新闻》记者采访时表示。

1 月下旬，字节正式设立代号为“Seed Edge”的研究项目，目标是探索 AGI 的新方法，其中“Seed”是豆包大模型团队名称，Edge 代表最前沿的 AGI 探索。 1 月下旬，字节正式设立代号为“Seed Edge”的研究项目，目标是探索 ...

近日，科大讯飞在互动平台上回答投资者提问，透露了其在国产算力领域的最新进展，引发广泛关注。科大讯飞表示，凭借仅仅1万张910B 国产算力卡，他们已经跻身于大模型研发的第一梯队。这一成绩令人瞩目，因为同类企业在此领域所需的算力往往远超此数。

字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型 (MoE)架构的关键瓶颈，并开源一项名为COMET的重大优化技术。该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。

新浪科技讯 3月10日晚间消息，字节豆包大模型团队官宣开源一项针对 MoE 架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40%。据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万 GPU 小时训练算力。 MoE 是当前大模型的主流架构，但其在分布式训练中存在大量跨设备通信开销，严重制约了大模型训练效率和成本。以海外主流模型Mixtral-8x7B为例， 其训练过程中通 ...

品玩3月11日讯，据界面新闻报道，字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术，可将大模型训练效率提升1.7倍。 论文显示，该技术已实际应用于字节的万卡集群训练，实现数百万GPU小时训练算力的节省。

2025年3月10日，字节跳动宣布了一项重大的技术突破，其豆包大模型团队在知名开源平台GitHub上开源了针对混合专家模型（MoE）架构的关键优化技术COMET。这一新技术的推出，旨在提高大模型的训练效率，同时降低训练成本。根据字节跳动的官方数据显示，COMET技术能够将大模型训练效率提升1.7倍，并将训练成本节省40%。这意味着，企业在进行大规模模型训练时，将能够节省大笔开支，从而使得AI技术的 ...

据上证报中国证券网报道，3月10日，记者从字节跳动获悉，字节豆包大模型团队宣布开源针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万GPU小时训练算力。针对MoE通信瓶颈，COMET通过在计算-通信重叠层面的多项创新，大幅降低 ...

3月10日，字节豆包大模型团队官宣开源一项针对MoE架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40%。据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万GPU小时训练算力。入选顶级会议MLSys ...

字节跳动旗下豆包大模型团队10日官宣开源一项针对MoE架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40％。该技术已实际应用于字节的万卡集群训练，累计帮助节省数百万GPU小时训练算力。

3 月 10日，字节豆包大模型团队官宣开源一项针对 MoE 架构的关键优化技术，可将大模型训练效率提升1.7倍，成本节省40%。据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万 GPU 小时训练算力。 MoE ...