Ollama是一款可一键式在本地部署大模型的应用程序,目前该软件支持MacOS/Linux/Windows多平台。
Ollama的Library中内置多款流行的大语言模型,我们在安装好后可在终端执行命令进行一键式安装,以Qwen2-7b为例
Qwen2-7b
ollama run qwen2
运行该指令后便会在电脑运行QWen2-7b模型。
使用ollama-webui可为部署在Ollama上的模型提供webui页面