x

2026-03-29 17:32:12 +08:00
parent a339629039
commit 7ff076530a
2 changed files with 16 additions and 1 deletions
@@ -104,5 +104,6 @@ curl -X POST "http://localhost:8001/v1/chat/completions" \
 ## 常见故障排查

 - 报错 `model type ... Transformers does not recognize this architecture` 时，说明当前模型与镜像内依赖不兼容，建议更换模型或升级镜像版本。
+- 报错 `model config (gptq) does not match quantization argument (gptq_marlin)` 时，将该模型配置改为 `dtype=float16` 且 `quantization=gptq`。
 - 若模型目录存在但仍加载失败，检查挂载路径是否为 `/opt/model:/opt/model:ro`，并确认容器内可见模型文件。
 - 如果看到 `No services to build`，说明未触发重建；需要先执行 `docker compose build --no-cache` 再 `up`。