vllm 大模型量化微调推理使用： lora、gptq、awq

大模型微调、强化训练可以参考：

LLaMA-Factory
https://blog.csdn.net/weixin_42357472/article/details/139408979

1）微调lora模型推理

docker run  --gpus all  -v /ai/Qwen1.5-7B-Chat:/qwen-7b -v /ai/lora