x
This commit is contained in:
@@ -6,7 +6,6 @@
|
||||
|
||||
- 提供可容器化部署的模型推理 API
|
||||
- 使用 vLLM + ROCm 在 AMD GPU 上执行推理
|
||||
- 提供健康检查、鉴权和参数化配置能力
|
||||
- 暴露 `8001` OpenAI 标准协议接口,兼容 OpenClaw 调用
|
||||
|
||||
## 目录结构
|
||||
@@ -15,10 +14,7 @@
|
||||
.
|
||||
├── app
|
||||
│ ├── config.py
|
||||
│ ├── engine.py
|
||||
│ ├── main.py
|
||||
│ ├── model_catalog.py
|
||||
│ ├── start_api.py
|
||||
│ ├── start_openai.py
|
||||
│ └── schemas.py
|
||||
├── .dockerignore
|
||||
@@ -28,37 +24,12 @@
|
||||
└── requirements.txt
|
||||
```
|
||||
|
||||
## 接口说明
|
||||
|
||||
### 1) 健康检查
|
||||
|
||||
- 方法:`GET /health`
|
||||
- 返回:服务状态与当前模型名
|
||||
|
||||
### 2) 文本生成
|
||||
|
||||
- 方法:`POST /v1/generate`
|
||||
- Header:可选 `x-api-key`(配置 `API_KEY` 后必填)
|
||||
- 请求体:
|
||||
|
||||
```json
|
||||
{
|
||||
"prompt": "请介绍一下ROCm和vLLM的关系",
|
||||
"max_tokens": 256,
|
||||
"temperature": 0.7,
|
||||
"top_p": 0.95,
|
||||
"repetition_penalty": 1.0,
|
||||
"stop": ["</s>"]
|
||||
}
|
||||
```
|
||||
|
||||
## 配置项
|
||||
|
||||
项目只读取一个配置文件:`config.json`。
|
||||
|
||||
- `services.api.host` / `services.api.port`:自定义推理服务监听地址与端口(默认 `0.0.0.0:8000`)
|
||||
- `services.openai.host` / `services.openai.port`:OpenAI 协议服务监听地址与端口(默认 `0.0.0.0:8001`)
|
||||
- `api_key`:接口访问密钥(同时用于 8000 与 8001)
|
||||
- `api_key`:OpenAI 接口访问密钥
|
||||
- `tensor_parallel_size`:张量并行数,双卡建议 `2`
|
||||
- `dtype`:推理精度,默认 `bfloat16`
|
||||
- `model_root`:本地模型根目录,建议 `/opt/model`
|
||||
@@ -99,26 +70,12 @@
|
||||
docker compose up -d --build
|
||||
```
|
||||
|
||||
3. 验证自定义推理服务:
|
||||
|
||||
```bash
|
||||
curl http://localhost:<services.api.port>/health
|
||||
```
|
||||
|
||||
4. 验证 OpenAI 协议服务:
|
||||
3. 验证 OpenAI 协议服务:
|
||||
|
||||
```bash
|
||||
curl http://localhost:<services.openai.port>/v1/models
|
||||
```
|
||||
|
||||
## 推理请求示例
|
||||
|
||||
```bash
|
||||
curl -X POST "http://localhost:<services.api.port>/v1/generate" \
|
||||
-H "Content-Type: application/json" \
|
||||
-d "{\"prompt\":\"请用三句话介绍大模型推理优化\",\"max_tokens\":128,\"temperature\":0.7}"
|
||||
```
|
||||
|
||||
## OpenAI 协议示例(8001)
|
||||
|
||||
```bash
|
||||
|
||||
Reference in New Issue
Block a user