This commit is contained in:
2026-03-30 22:43:23 +08:00
parent 6f18a26bd9
commit a046930b43
4 changed files with 25 additions and 8 deletions
+19 -4
View File
@@ -1,6 +1,6 @@
# ROCm vLLM 容器化推理项目
基于镜像 `docker.1ms.run/vllm/vllm-openai-rocm:latest` 的 Python + vLLM 推理服务,适配双 AMD R9700 32G GPU。
基于镜像 `rocm/vllm:rocm7.12.0_gfx120X-all_ubuntu24.04_py3.12_pytorch_2.9.1_vllm_0.16.0` 的 Python + vLLM 推理服务,适配双 AMD R9700 32G GPU。
## 项目目标
@@ -65,20 +65,35 @@
## 部署步骤
1. 修改 `config.json` 中的 `models.selected` 与服务参数。
1. 预拉取基础镜像(与官方文档一致):
2. 构建并启动容器:
```bash
docker pull rocm/vllm:rocm7.12.0_gfx120X-all_ubuntu24.04_py3.12_pytorch_2.9.1_vllm_0.16.0
```
2. 修改 `config.json` 中的 `models.selected` 与服务参数。
3. 构建并启动容器:
```bash
docker compose up -d --build
```
3. 验证 OpenAI 协议服务:
4. 验证 OpenAI 协议服务:
```bash
curl http://localhost:<services.openai.port>/v1/models
```
当前 `docker-compose.yml` 已按官方运行参数适配:
- `--group-add=video` → `group_add: [video]`
- `--ipc=host` → `ipc: host`
- `--cap-add=SYS_PTRACE` → `cap_add: [SYS_PTRACE]`
- `--security-opt seccomp=unconfined` → `security_opt: [seccomp=unconfined]`
- `--device /dev/kfd` 与 `--device /dev/dri` → `devices`
- `-e HF_HOME=/app/models` 在本项目等效为 `HF_HOME=/opt/model`
## OpenAI 协议示例(8001)
```bash