AI界的超级黑马—DeepSeek-R1本地部署

本地部署的意义

  • 不联网

  • 随时可用

  • 部署私有知识库

个人觉得下个小模型当作翻译器还是很不错的,而且最近在线的老奔溃

本地部署的缺点

  • 本地用不了满血版的

  • 安装稍微麻烦一点

  • 比较占内存

我这里也是搜集了一些主流的部署方法

本地部署方法一

一、下载 Ollama

下载地址:https://ollama.com/

无需注册,安装成功后在命令行输入 ollama 查看是否安装成功

image.png

二、下载模型

下载地址:https://ollama.com/library/deepseek-r1

ollama 内置了很多量化后的模型,大家选择一个适合自己的然后复制命令到命令行运行即可,我这里以 1.5b 为例

image.png

image.png

下载完我们可以在命令行输入:ollama list 查看已经安装的模型

image.png

三、下载 Chatbox AI

Chatbox AI 是一个 AI 客户端应用程序和智能助手。兼容许多尖端的 AI 模型和 API。

下载地址:https://chatboxai.app/zh

然后我们打开设置——模型

在模型提供方选择 ollama api,然后选择刚刚下载的 1.5b 模型就可以了

image.png

本地部署方法二

另一个主流的AI 客户端是 LM Studio,下载地址:https://lmstudio.ai/

默认模型目录在 C 盘,所以推荐安装完先修改一下存放模型的路径

image.png

然后我们去 huggingface 上下载量化模型:

https://huggingface.co/collections/unsloth/deepseek-r1-all-versions-678e1c48f5d2fce87892ace5

我这里下载的 1.5b 的 Q8 模型进行演示,下载完我们就放到文件夹内

⚠️注意:我们的目录一定要按:models/文件夹 1/文件夹 2/大模型.gguf
大模型外面套两个文件夹的这个顺序,不然 LM 识别不到模型

image.png

比如下方就是错误的

image.png

然后我们这 LM 就可以识别到大模型了

image.png

我们再回到聊天框就可以加载模型了

image.png

加载时需要对模型进行一些设置,这些设置可以影响模型的性能和速度,一般默认即可

image.png

速度比Chatbox AI 的更快

image.png

此外边上的高级配置也非常有用,可以预设角色,温度,响应长度等等

image.png

相比 chatboxai 会更专业一点

最后

提醒一下年后很多机构打着 DeepSeek 的旗号到处割韭菜,大家没必要去花那些钱,很多教程网上都有。AI 只是一个工具,具体怎么用还得看个人实际情况。


转载请说明出处 内容投诉
中创学社 » AI界的超级黑马—DeepSeek-R1本地部署

中创学社

官方首页 客服QQ
客服QQ返回顶部
  • 售后客服
  • 21998583