大模型 web ui 界面 text-generation-webui

作者 : admin 本文共1717个字,预计阅读时间需要5分钟 发布时间: 2024-04-1 共2人阅读

目录

前言

web ui

ValueError: When localhost is not accessible


前言

使用 text-generation-webui 生成大模型界面,这个是专门用于文本对话生成的 web ui 界面

GitHub – oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.

 克隆或下载到本地,我是想试试这个怎么样,我的环境:

win10, cpu

所以在模型方面找了小模型来试试,http://huggingface.co/Qwen/Qwen1.5-0.5B-Chat/tree/main

qwen1.5-0.5B 只有 2g 多,可以下载模型文件,我在本地电脑没 gpu 情况下能跑起来:

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cpu" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen1.5-0.5B-Chat",
    torch_dtype="auto",
    device_map="cpu"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat")

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

 大模型 web ui 界面 text-generation-webui插图

 

web ui

下载好后,按照它的安装指引安装一下,中途按照提示选择即可

大模型 web ui 界面 text-generation-webui插图(1)

模型文件位置,按照自行放置:

大模型 web ui 界面 text-generation-webui插图(2)

大模型 web ui 界面 text-generation-webui插图(3)

ValueError: When localhost is not accessible

到 text-generation-webui 目录下,运行 python service.py,先提示缺少包,提示啥就安装啥

注意:gradio 需要安装指定版本(requirements.txt 中可以看)

全部没问题后,会得到这个错误,需要在 shared.py 中加一个值 default=True 如下,这个代码直接用 pycham 打开搜索就能找到

group.add_argument('--share', action='store_true', help='Create a public URL. This is useful for running the web UI on Google Colab or similar.', default=True)

然后重新启动 service,点开 url 就可以看到效果

大模型 web ui 界面 text-generation-webui插图(4)

需要加载选择模型,由于我是 cpu ,还有一个 cpu 需要选择,在下面一点,就不截图了,加载成功会提示 successfull:

大模型 web ui 界面 text-generation-webui插图(5)

然后就恶意正常对话了,不过从模型上看,0.5 的效果太差了

本站无任何商业行为
个人在线分享 » 大模型 web ui 界面 text-generation-webui
E-->