安装Ollama
本地部署借助一个工具叫做ollama。
Ollama是一个开源框架,专门设计用于在本地机器上快速部署和运行大型语言模型(LLM),它通过提供一个简单易用的命令行界面和服务器,使用户能够轻松下载、运行和管理各种开源大型语言模型。
它具有开源免费、简单易用、模型丰富以及资源占用低的特点,支持Llama 3、Mistral、Qwen2等众多热门开源LLM,并提供一键下载和切换功能。
官网:Ollama
点击官网进行下载。
github下载链接:https://github.com/ollama/ollama/releases/
leass/但是ollama官网下载会很慢
下载完成以后在终端运行下面命令测试是否安装成功:
ollama --version
输出版本说明安装成功了:
终端部署
打开计算机终端,部署什么样的模型就运行哪个命令。首次运行需要安装部署,如果已经部署,执行对应命令即可激活LLM
Qwen DeepSeek R1 1.5B
ollama run deepseek-r1:1.5b
Qwen DeepSeek R1 7B
ollama run deepseek-r1:7b
Llama DeepSeek R1 8B
ollama run deepseek-r1:8b
Qwen DeepSeek R1 14B
ollama run deepseek-r1:14b
Qwen DeepSeek R1 32B
ollama run deepseek-r1:32b
Llama DeepSeek R1 70B
ollama run deepseek-r1:70b
安装好后下载一个浏览器插件:
Web UI 控制端【点击安装】
运行Deepseek-R1模型
打开安装好了插件选择模型后输入信息得到回复
那么恭喜你学会安装并使用Deepseek-R1模型
感谢阅读到这谢谢!!!
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容