摩尔线程夸娥方案是业内首个跑通、跑完国产大模型的千卡集群

　　基于摩尔线程夸娥千卡智算集群，滴普科技成功完成了LLaMA2 700亿参数大语言模型的预训练测试。

　　训练时长共计77小时，全程无故障连续运行，集群训练稳定性达到100％，训练效率和兼容性均达到预期。

　　有趣的是，兼容互认证明的发证时间是2023年9月28日，也就是相关适配工作早就完成了，如今才公开。

　　北京滴普科技有限公司成立于2018年，定位于数据智能服务商，为客户提供数据智能基础设施、企业大模型产品，以及数据智能创新服务。

　　目前，滴普科技已与中国海诚、中核装备院、百丽时尚等企业开展产业落地实践，成为产业大模型落地的领先企业。

　　滴普科技的Deepexi企业大模型，在语义、视觉、语音、跨模态等方面表现优越，可运用模型工具链，为企业提供高质量的数据准备、模型训练、调优、部署及推理服务，快速构建不同领域的模型、智能体应用。

　　摩尔线程夸娥方案是业内首个跑通、跑完国产大模型的千卡集群，基于全功能MTT S4000 GPU，提供软硬一体化的全栈解决方案，具备模型覆盖、推理加速、CUDA兼容、断点续训、分布式训练、集群可靠性等8大核心能力。

　　在此之前，摩尔线程已经第一家接入无问芯穹，夸娥千卡集群先后适配无穹Infini-AI大模型开发与服务平台、完成LLama2 700亿参数大模型训练测试、完成MT-infini-3B 3B(30亿参数)规模大模型实训。

　　憨猴集团也基于摩尔线程的夸娥千卡智算集群，成功完成了7B、34B、70B不同参数量级的大模型分布式训练，效率、精度、稳定性都相当完美。