🛠️Windows 无独立显卡运行本地大模型:Ollama CPU 部署、模型选择与性能实测

在window环境下使用ollama软件工具部署安装运行大模型,无需显卡使用CPU和内存也能运行大模型。运行速度主要取决于 CPU、内存、模型大小和上下文长度。
在window环境下使用ollama软件工具部署安装运行大模型,无需显卡使用CPU和内存也能运行大模型。
一、下载安装ollama软件
1、https://ollama.com/download 根据操作系统类型下载安装包。
2、window环境下下载完成,点击运行exe安装程序。
3、安装成功后,打开cmd命令终端界面,输入 ollama -v 命令查看软件版本成功。
4、ollama -h命令可查看相关命令参数(相关命令可查看、运行、停止、删除大模型等)。
notion image
notion image
二、运行大模型
1、https://ollama.com/search 界面查找想要安装的大模型版本。
2、执行命令ollama run llama3.1 ,第一次运行会需要下载大模型(llama3.1 8B参数大模型大概4.9G)。
3、测试和大模型对话。
4、llama3.1 8B参数大模型运行,只使用CPU和内存运行,大概占用内存6G,运行流畅。
notion image
notion image
 
官方核验资料:
上一篇
coze平台开发微信公众号客服智能体
下一篇
Dify 本地服务通过 ngrok 安全发布公网:地址配置、验证与常见错误
Loading...