部署Dify知识库对接DeepSeek本地大模型
Dify 是一个用于构建 AI 应用程序的开源平台。我们将后端即服务和 LLMOps 相结合,以简化生成式 AI 解决方案的开发,让开发人员和非技术创新者都可以使用它。
用自己的知识库训练数据结合AI大模型产出更为贴合业务的成果,
在服务器上部署Dify知识库
docker网络架构问题,Dify建议服务器上搞方便。我用的莱卡云香港CN2GIA的云服务器搭建的,优惠地址如下:
https://www.lcayun.com/aff/ZEXUQBIM
手动部署,部署后在80端口访问这是官方默认的,可以自己进入.env
修改暴露端口。
mkdir -p /home/docker/
cd /home/docker/
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d
自动部署,不喜欢手动部署可以用kejilion脚本进行自动化部署,我已经集成到脚本里面了。会暴露在8058端口上,适合后期反向代理成域名使用。
科技lion脚本获取地址:https://kejilion.sh
搭建好,进入网页设置初始管理员邮箱密码。先放着我们先装本地大模型。
在本地安装deepseek
先把deepseek装好看这篇文章,为啥deepseek在本地部署,因为本地算力比服务器强多了,有N卡更适合。
Ollama本机跑默认只能本机访问,内网穿透直接403了。我找了很多资料最后发现要调整变量重启电脑,这样就可以内网被访问或者通过内网穿透暴露在外网,供dify使用。
在Windows中CMD终端输入如下命令重启电脑。
setx OLLAMA_HOST "0.0.0.0:11434"
除了安装deepseek-r1大模型还要嵌入式文本向量大模型,同样是通过Ollama进行安装。
ollama pull nomic-embed-text
deepseek内网穿透到公网
将本地的11434暴露到公网的任意可用的端口,内网穿透方法,看视频。
b站视频
https://www.bilibili.com/video/BV1yMw6e2EwL?t=0.1
图文教学
之前分享的全部用上了,知识的完美整合。
Dify对接deepseek
回到Dify网页到设置里添加模型,先对接deepseek-r1大模型再对接Embedding 模型。
版权声明:
作者:KEJILION
链接:https://blog.kejilion.pro/dify-deepseek-r1/
来源:科技lion官方博客【国内版】
文章版权归作者所有,未经允许请勿转载。
共有 0 条评论