x

README.md

@@ -1,11 +1,11 @@
 # ROCm vLLM 容器化推理项目
 
-基于镜像 `rocm/vllm:rocm7.12.0_gfx120X-all_ubuntu24.04_py3.12_pytorch_2.9.1_vllm_0.16.0` 的 Python 推理服务，适配双 AMD R9700 32G GPU。
+基于镜像 `docker.1ms.run/vllm/vllm-openai-rocm:latest` 的 Python + vLLM 推理服务，适配双 AMD R9700 32G GPU。
 
 ## 项目目标
 
 - 提供可容器化部署的模型推理 API
-- 使用 vLLM 在双 GPU 上进行张量并行推理
+- 使用 vLLM + ROCm 在 AMD GPU 上执行推理
 - 提供健康检查、鉴权和参数化配置能力
 - 暴露 `8001` OpenAI 标准协议接口，兼容 OpenClaw 调用
 
@@ -72,7 +72,7 @@
 - `models.default`：默认模型名
 - `models.selected`：当前生效模型名
 - `models.profiles`：模型配置集合
-- 每个模型必须包含：`local_path`、`ctx`、`max_num_seqs`、`max_tokens`、`gpu_util`、`valid_tp`
+- 每个模型必须包含：`local_path`，并建议补充 `ctx`、`max_num_seqs`、`max_tokens`
 
 启动时会按以下优先级选模型：
 
@@ -146,15 +146,6 @@ curl -X POST "http://localhost:8001/v1/chat/completions" \
 
 ## 常见故障排查
 
-- 报错 `model type qwen3_5_moe ... Transformers does not recognize this architecture` 时，先重建镜像以更新依赖：
-
-```bash
-docker compose build --no-cache
-docker compose up -d --force-recreate
-```
-
-- 如果看到 `No services to build`，说明你执行的是 `docker compose up -d --force-recreate` 且未触发重建；必须先单独执行 `docker compose build --no-cache`。
-
-- 构建阶段若出现 `git clone https://github.com/huggingface/transformers.git` 失败，请改用 PyPI 版本依赖（项目已默认 `transformers>=4.57.0,<5`），避免源码拉取中断导致构建失败。
-
-- 若仍报相同错误，说明当前 `vLLM/Transformers` 组合不支持该模型架构，建议在 `config.json` 切到其他本地模型，或升级基础镜像到更新的 vLLM 版本。
+- 报错 `model type ... Transformers does not recognize this architecture` 时，说明当前模型与镜像内依赖不兼容，建议更换模型或升级镜像版本。
+- 若模型目录存在但仍加载失败，检查挂载路径是否为 `/opt/model:/opt/model:ro`，并确认容器内可见模型文件。
+- 如果看到 `No services to build`，说明未触发重建；需要先执行 `docker compose build --no-cache` 再 `up`。