🛠️dify配置连接ollama大模型

dify配置连接ollama大模型的具体操作步骤。
一、运行启动ollama大模型
ollama run llava启动成功后,ollama 在本地 11434 端口启动了一个 API 服务,可通过 http://127.0.0.1:11434/访问。
二、配置dify
在 设置 > 模型供应商 > Ollama 中填入:
notion image
1)模型名称:llama3.1
2)基础 URL:http://<your-ollama-endpoint-domain>:11434 此处需填写可访问到的 Ollama 服务地址。
若 Dify 为 Docker 部署,建议填写局域网 IP 地址,例如:http://192.168.1.100:11434 或 Docker 容器的内部 IP 地址,例如:http://host.docker.internal:11434。
若为本地源码部署,可填写 http://localhost:11434。
3)模型类型:对话 模型上下文长度:4096 模型的最大上下文长度,若不清楚可填写默认值 4096。 最大 token 上限:4096 模型返回内容的最大 token 数量,若模型无特别说明,则可与模型上下文长度保持一致。
4)是否支持 Vision:是 当模型支持图片理解(多模态)勾选此项,如 llava。
5)点击 "保存" 校验无误后即可在应用中使用该模型。 Embedding 模型接入方式与 LLM 类似,只需将模型类型改为 Text Embedding 即可。
问题:如果你使用Docker部署Dify和Ollama,你可能会遇到以下错误:
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
参考2)基础 URL配置,或尝试设置系统变量OLLAMA_HOST=0.0.0.0,重启ollama服务。
三、dify创建简单聊天机器人
1、工作室=》创建应用(创建空白应用):选择聊天助手、基础编排,填写名称、描述。点击创建进入编排界面如下。
ps:第一次进入编排,可能出现大模型启用状态,调试与预览需要点击“设置”选择设置一下大模型。
2、在“和机器人聊天”对话框输入聊天内容进行聊天。
notion image
 
上一篇
windows 环境部署dify应用开发平台
下一篇
Windows 7 升级 Windows 10 报错 0x80072f8f-0x20000:TLS 1.2 修复与验证
Loading...