3月10日,字节豆包大模型团队官宣开源一项针对MoE架构的关键优化技术,可将大模型训练效率提升1.7倍,成本节省40%。据悉,该技术已实际应用于字节的万卡集群训练,累计帮助节省了数百万GPU小时训练算力。
浙江之夜”闪耀数字中国建设峰会,重磅实践成果赋能数创未来
数字中国·浙江之夜4月28日,由数字中国建设峰会组委会主办、安恒信息承办的“浙江之夜”主题活动圆满举行。本次活动以"智联世界·数创未来"为主题,汇聚政产学研界精英,全方位展示浙江在数据要素市场培育、人工智能创新应用等领域...
3月10日,字节豆包大模型团队官宣开源一项针对MoE架构的关键优化技术,可将大模型训练效率提升1.7倍,成本节省40%。据悉,该技术已实际应用于字节的万卡集群训练,累计帮助节省了数百万GPU小时训练算力。