来源: https://www.ucloud.cn/yun/131183.html 作者: 社区管理员 发布日期: 发布于2025-02-07 13:29

DeepSeek-R1 Distill系列

基于DeepSeek-R1的推理能力，通过蒸馏技术将推理能力迁移到较小的模型上，在保持高效性能的同时，成功降低了计算成本，实现了“小身材、大智慧”的完美平衡！该镜像使用vLLM部署提供支持，适用于高性能大语言模型的推理和微调任务，

第一步：登录「优云智算」算力共享平台并进入「镜像社区」

地址：https://www.compshare.cn/?ytag=seo

第二步：选择「vLLM-DeepSeek-R1-Distill」镜像，点击「使用该镜像创建实例」

镜像地址：https://www.compshare.cn/images-detail?ImageID=compshareImage-17ym815cbokz

根据镜像说明中的引导，选择所用模型需要的GPU算力规格，并点击「立即部署」即可拥有一个自带模型的算力资源。

第三步：启动vLLM api 服务，镜像已配置好所需依赖环境，无需额外安装，即可通过以下命令启动vLLM服务：

单卡4090

DeepSeek-R1-Distill-Qwen-1.5B

vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --port 8000

DeepSeek-R1-Distill-Qwen-7B

vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --port8000 --max-model-len 65536

DeepSeek-R1-Distill-Llama-8B

vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Llama-8B --port8000 --max-model-len 17984

2卡4090

DeepSeek-R1-Distill-Qwen-14B

vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --port8000-tp2 --max-model-len 59968

4卡4090

DeepSeek-R1-Distill-Qwen-32B

vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --port 8000 -tp 4 --max-model-len 65168

8卡4090

DeepSeek-R1-Distill-Llama-70B

vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Llama-70B --port 8000