x
This commit is contained in:
@@ -1,6 +1,6 @@
|
||||
# ROCm vLLM 容器化推理项目
|
||||
|
||||
基于镜像 `docker.1ms.run/vllm/vllm-openai-rocm:latest` 的 Python + vLLM 推理服务,适配双 AMD R9700 32G GPU。
|
||||
基于镜像 `rocm/vllm:rocm7.12.0_gfx120X-all_ubuntu24.04_py3.12_pytorch_2.9.1_vllm_0.16.0` 的 Python + vLLM 推理服务,适配双 AMD R9700 32G GPU。
|
||||
|
||||
## 项目目标
|
||||
|
||||
@@ -65,20 +65,35 @@
|
||||
|
||||
## 部署步骤
|
||||
|
||||
1. 修改 `config.json` 中的 `models.selected` 与服务参数。
|
||||
1. 预拉取基础镜像(与官方文档一致):
|
||||
|
||||
2. 构建并启动容器:
|
||||
```bash
|
||||
docker pull rocm/vllm:rocm7.12.0_gfx120X-all_ubuntu24.04_py3.12_pytorch_2.9.1_vllm_0.16.0
|
||||
```
|
||||
|
||||
2. 修改 `config.json` 中的 `models.selected` 与服务参数。
|
||||
|
||||
3. 构建并启动容器:
|
||||
|
||||
```bash
|
||||
docker compose up -d --build
|
||||
```
|
||||
|
||||
3. 验证 OpenAI 协议服务:
|
||||
4. 验证 OpenAI 协议服务:
|
||||
|
||||
```bash
|
||||
curl http://localhost:<services.openai.port>/v1/models
|
||||
```
|
||||
|
||||
当前 `docker-compose.yml` 已按官方运行参数适配:
|
||||
|
||||
- `--group-add=video` → `group_add: [video]`
|
||||
- `--ipc=host` → `ipc: host`
|
||||
- `--cap-add=SYS_PTRACE` → `cap_add: [SYS_PTRACE]`
|
||||
- `--security-opt seccomp=unconfined` → `security_opt: [seccomp=unconfined]`
|
||||
- `--device /dev/kfd` 与 `--device /dev/dri` → `devices`
|
||||
- `-e HF_HOME=/app/models` 在本项目等效为 `HF_HOME=/opt/model`
|
||||
|
||||
## OpenAI 协议示例(8001)
|
||||
|
||||
```bash
|
||||
|
||||
Reference in New Issue
Block a user