1 电脑配置

2 安装Ollama

2.1 下载Ollama

登录Ollama官网下载Ollama安装包
GitHub：http://github.com/ollama/ollama?tab=readme-ov-file

2.2 安装Ollama

Windows下安装Ollama很简单，双击运行安装文件即可，此处不赘述。
打开终端，输入ollama，出现下图所示代表安装成功

注意：
windows 的安装默认不支持修改程序安装目录，
默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
默认安装的模型目录：C:\Users\username\ .ollama
默认的配置文件目录：C:\Users\username\AppData\Local\Ollama

2.3 配置Ollama的模型路径

由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，可以配置环境变量OLLAMA_MODELS，设置为指定的路径：

2.4 下载llama3模型

llama3目前主要有8B和70B两个模型，分别代表80亿和700亿个训练参数。

8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。
这里我安装的是8B的模型。
打开终端，输入命令：ollama run llama3默认安装8B模型，也可以使用ollama run llama3:8b来指定相应的模型，安装成功会有如下提示：

提问题，发现该模型给了很好的回复。

当然也可以写代码

至此，llama3本地部署已完成。
注意1：
在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。
注意2：
由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型http://github.com/LlamaFamily/Llama-Chinese

3 Ollama+OpenWebUI

前面部署的llama3是在命令行里面进行交互，体验感并不好，安装OpenWebUI可以使用web界面进行交互。这里我使用docker的方式部署OpenWebUI。

3.1 安装Docker

3.1.1 下载Docker

Docker下载

3.1.2 启动微软Hyper-V

• 打开“控制面板->程序->启用或关闭Windows功能”
  
  

• 勾选Hyper-V选项
  

• 重启电脑后安装成功
  Windows工具中可以看到Hyper-V已安装成功。
  

注意：
若没有Hyper-V选项，可以使用如下命令安装：

pushd "%~dp0"

dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hv.txt

for /f %%i in ('findstr /i . hv.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"

del hv.txt

Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL

Pause

将上述命令复制到Hyper-V.bat批处理文件中，然后以管理员身份运行。

3.1.3 安装Docker

打开之后是这个样子，一般不需要使用，用命令行操作即可。

3.1.4 切换国内镜像源

{
  "registry-mirrors": [
    "http://82m9ar63.mirror.aliyuncs.com",
    "http://hub-mirror.c.163.com",
    "http://docker.mirrors.ustc.edu.cn"
  ],
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  }
}

Docker中国区官方镜像地址
网易地址
中国科技大学地址
阿里巴巴

3.2 安装OpenWebUI

GitHub地址


docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
浏览器输入http://localhost:3000/

注意：
注册时邮箱可以随便填写，例如：admin@111.com

3.3 web访问llama3

注册登录后可以看到直接可以选择之前部署好的llama3:8b模型，通过对话测试下它的能力。

写代码：

注意：
后台一定要运行着llama3，ollama run llama3:8b

3.4 离线部署

1. 先安装Docker
2. 将在线下载的docker images保存
   
3. 在离线的机器上装载该镜像
   docker load -i open-webui.tar
4. 使用3.2章节的命令启动容器即可