Мое окружение следующее:

• nvidia-smi показывает, что версия cuda — 11.7
• В настоящее время версия torch, необходимая для последней версии vllm, — 2.1.2, а версия cuda, необходимая для этой версии, — 11.8, поэтому она не соответствует. При выполнении установки вы столкнетесь со следующей ошибкой

RuntimeError: The NVIDIA driver on your system is too old (found version 11070). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.a
spx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver.  

Я попробовал установить поддержку cuda 11.7 последняя версия torch==2.0.1,бегатьpip install -e .При установке по-прежнему возникают вышеуказанные проблемы.。Решение состоит в том, чтобы изменить vllm Файл конфигурации установки:

• 1. requirements.txt

torch==2.1.2 Изменить на torch>=2.0.1
xformers == 0.0.23.post1 Изменить на xformers >= 0.0.022

Поэтому вам нужно убедиться, что версия xformers — 0.0.022.

• 1. requirements-build.txt

torch==2.1.2 Изменить на torch>=2.0.1

• 1. pyproject.toml

requires = [
    "ninja",
    "packaging",
    "setuptools >= 49.4.0",
    "torch == 2.1.2", Изменить на "torch>=2.0.1"
    "wheel",
]