华为官方表示,ModelEngine现已全面支持DeepSeek系列模型R1&V3 671B以及蒸馏系列模型,开发者可通过ModelEngine实现“一键部署”。
此举省去硬件选型、兼容性验证和环境配置等繁琐步骤,大幅降低企业AI应用门槛。
此外华为还表示,ModelEngine通过其高度的开放性和模块化设计,极大地缩短了DeepSeek的本地部署时间。
下面以DeepSeek-R1为例,基于ModelEngine 3步快速完成部署模型
1、登录ModelEngine模型管理页面,上传DeepSeek-R1 FP8权重,然后进行模型权重格式转换,将FP8精度模型权重转换为BF16精度模型权重;

2、在模型服务页面,选择BF16精度的模型权重版本,下发推理服务,启动任务部署;

3、ModelEngine使用MindIE推理框架启动DeepSeek-R1推理服务后,支持OpenAI API 调用风格的推理服务接口和访问方式;
4、ModelEngine 启动 DeepSeek-R1 推理服务后,平台支持 OpenAI API 调用风格的推理服务接口和访问方式,用户可以将该 API 集成到对话、RAG 以及 Agent 应用。

到这里,基于ModelEngine私有化本地部署的DeepSeek-R1完整版推理服务API已经就绪了。
用户可以将推理服务API集成到对话应用、RAG或者Agent应用中,在保证数据安全的前提下,让DeepSeek-R1媲美世界头部顶流闭源大模型服务智能的能力。
博主爆料有家大厂考虑砍掉超大杯:超大杯的销量占比不高,要等年底或者明年上半年才能知晓
苹果的Mac电脑一直被认为比Windows电脑更安全,现在这种优势正在消失
DeepSeek成为全球增速最快的AI应用:镜像和模型,镜像提供完整的依赖环境开箱即用
DeepSeek系列模型正式上线昇腾社区:为自研MoE模型,671B 参数,激活37B
微星幻影RTX 5080主机开售!自带13寸触控屏:到手29499元
日本Rapidus 4月开始试产2nm:预计将有200台以上设备搬入,确保4月1日按时开始试产
DeepSeek爆火的最大赢家
大摩为美国科技巨头打气:尽管DeepSeek的突破意义重大,但不会导致AI等领域资本崩溃
摩尔线程快速部署DeepSeek:全面支持DeepSeek V3、R1模型,以及新一代蒸馏模型的分布式部署



