This commit is contained in:
2026-03-29 16:49:09 +08:00
parent 5c6c59a362
commit 22afc63ac7
5 changed files with 31 additions and 101 deletions
+2 -45
View File
@@ -6,7 +6,6 @@
- 提供可容器化部署的模型推理 API
- 使用 vLLM + ROCm 在 AMD GPU 上执行推理
- 提供健康检查、鉴权和参数化配置能力
- 暴露 `8001` OpenAI 标准协议接口,兼容 OpenClaw 调用
## 目录结构
@@ -15,10 +14,7 @@
.
├── app
│ ├── config.py
│ ├── engine.py
│ ├── main.py
│ ├── model_catalog.py
│ ├── start_api.py
│ ├── start_openai.py
│ └── schemas.py
├── .dockerignore
@@ -28,37 +24,12 @@
└── requirements.txt
```
## 接口说明
### 1) 健康检查
- 方法:`GET /health`
- 返回:服务状态与当前模型名
### 2) 文本生成
- 方法:`POST /v1/generate`
- Header:可选 `x-api-key`(配置 `API_KEY` 后必填)
- 请求体:
```json
{
"prompt": "请介绍一下ROCm和vLLM的关系",
"max_tokens": 256,
"temperature": 0.7,
"top_p": 0.95,
"repetition_penalty": 1.0,
"stop": ["</s>"]
}
```
## 配置项
项目只读取一个配置文件:`config.json`。
- `services.api.host` / `services.api.port`:自定义推理服务监听地址与端口(默认 `0.0.0.0:8000`)
- `services.openai.host` / `services.openai.port`:OpenAI 协议服务监听地址与端口(默认 `0.0.0.0:8001`)
- `api_key`:接口访问密钥(同时用于 8000 与 8001)
- `api_key`:OpenAI 接口访问密钥
- `tensor_parallel_size`:张量并行数,双卡建议 `2`
- `dtype`:推理精度,默认 `bfloat16`
- `model_root`:本地模型根目录,建议 `/opt/model`
@@ -99,26 +70,12 @@
docker compose up -d --build
```
3. 验证自定义推理服务:
```bash
curl http://localhost:<services.api.port>/health
```
4. 验证 OpenAI 协议服务:
3. 验证 OpenAI 协议服务:
```bash
curl http://localhost:<services.openai.port>/v1/models
```
## 推理请求示例
```bash
curl -X POST "http://localhost:<services.api.port>/v1/generate" \
-H "Content-Type: application/json" \
-d "{\"prompt\":\"请用三句话介绍大模型推理优化\",\"max_tokens\":128,\"temperature\":0.7}"
```
## OpenAI 协议示例(8001)
```bash