DeepSeek凭借DeepSeek R1这两天在全网刷屏,去年12月末发布的DeepSeek V3 ,其实在科技圈就已经引起不少的震动,其通过优化算法和训练策略,大幅降低了训练成本,同时保持了高性能。其在自然语言处理任务中的表现尤为突出,能够更高效地完成文本生成、理解等复杂任务。
而近期刷屏的 DeepSeek R1,则是深度求索的最新力作。这款模型在推理速度上有了显著提升,支持 多轮对话、代码生成、长文本理解(最高 128K Token 上下文窗口),在数学推理和逻辑分析任务中表现尤为突出。R1的核心优势在于其更低的训练成本和更高的实用性,使其能够快速应用于实际场景中,满足不同行业的需求。
无论是 V3 还是 R1,深度求索都震惊了西方的大模型公司。再加上除夕夜发布的Janus pro多模态模型,一场全球信息平权和AI话语权的转移正在进行,2025年中国AI有更多的惊喜。
本文将以 DeepSeek R1 模型为例,结合 LM Studio 工具,记录从模型下载到本地部署的全流程。
电脑配置为: i9-14900K + RTX3090 24GB + 64G内存
本文使用 LLM Studio来本地部署,LLM Studio 是一款专为简化大语言模型(LLM)本地化部署而设计的开源工具,由开发者社区积极维护迭代。
首先下载安装LM Studio, https://lmstudio.ai/
LM Studio官方说明是不会上传用户数据,但是它是一个闭源软件,所以为了确保我们的模型是本地运行,数据不会上传互联网,为LM Studio配置入站和出战规则,从windows防火墙层面隔绝LM Studio 与互联网的连接。
在windows搜索中搜索高级安全Windows Defender 防火墙
打开
新建入站规则
为LM Studio安装路径下D:\LM Studio中LM Studio程序、D:\LM Studio\resources中elevate程序、C盘下C:\Users\Administrator.lmstudio\bin中lms程序 新建规则,下面以为LM Studio程序为例,其余两个程序新建规则和LM Studio程序流程一致,只需选择正确的程序和给规则命相应的名称即可。
配置好入站规则如下:
新建出站规则
出战规则与入站规则配置一致,分别给三个程序新建三个规则即可。配置完成如下:
模型选择
没有GPU:1.5B Q8推理 或者 8B Q4推理
4G GPU:8B Q4推理
8G GPU:32B Q4推理 或者 8B Q4推理
16G GPU:32B Q4推理 或者 32B Q8推理
24G GPU: 32B Q8推理 或者 70B Q2推理
推荐使用 GGUF(兼容 CPU/GPU)或 GPTQ(GPU 专用)
这里使用32B Q8 GGUF格式。可在huggingface国内镜像站https://hf-mirror.com/下载,在官网搜索框内搜索deepseek R1 32b GGUF
:
点击第一个也是下载量最多的那个:
点击Files and versions
:
可以看到有一系列的32B模型,选择DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf
下载:
模型共有三十多GB,有点大,静等完成下载即可,16MB/s大概需要半小时:
首先找到C盘用户Administrator文件夹下.lmstudio
文件夹,然后找到models
文件夹:
models
文件夹这时有可能是空文件夹,没有关系,新建一个文件夹,比如我下载了32B Q8和Q4的模型,我就新建一个deepseek_R1_32B _Q8
的文件夹和一个deepseek_R1_32B _Q4
文件夹:
然后在deepseek_R1_32B _Q8
文件夹中在新建一个文件夹,就以下载的模型文件名命名:DeepSeek-R1-Distill-Qwen-32B-Q8_0
:
然后将下载好的文件模型文件DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf
复制到该文件夹下即可。
完成上述步骤后,运行LM Studio
软件,选择左侧开发者图标,点击选择要加载的模型,即可看到你所下载好的模型:
然后便可对一些参数进行调整:
定义:模型在处理文本时,一次能考虑的上下文长度。
作用:较长的上下文长度有助于模型更好地理解文本,但会增加计算负担和内存占用。
这里根据任务需求和自己的硬件性能调整,长文本任务可适当增加,短文本任务可减少以节省资源。一般设置为4000多。
定义:GPU在模型推理或训练中的使用率。
作用:高负载表示GPU被充分利用,低负载则可能意味着计算资源未被有效使用。
这个根据自己的GPU显存大小调整若负载过低,可增加批量大小或并行任务;若负载过高,需减少任务或优化模型。
可以在任务管理器中查看专用GPU内存占用进行调整,同时注意共享GPU内存不要占用过高.
调整好参数后点击Remember seeting for
和加载模型等待模型加载完成即可。
模型测试:(这里使用Q4模型测试)
希望这篇教程能为您提供清晰的实践路径! 🚀