在window环境下使用ollama软件工具部署安装运行大模型,无需显卡使用CPU和内存也能运行大模型。
一、下载安装ollama软件
1、https://ollama.com/download 根据操作系统类型下载安装包。
2、window环境下下载完成,点击运行exe安装程序。
3、安装成功后,打开cmd命令终端界面,输入 ollama -v 命令查看软件版本成功。
4、ollama -h命令可查看相关命令参数(相关命令可查看、运行、停止、删除大模型等)。


二、运行大模型
1、https://ollama.com/search 界面查找想要安装的大模型版本。
2、执行命令ollama run llama3.1 ,第一次运行会需要下载大模型(llama3.1 8B参数大模型大概4.9G)。
3、测试和大模型对话。
4、llama3.1 8B参数大模型运行,只使用CPU和内存运行,大概占用内存6G,运行流畅。


官方核验资料:
Loading...



