cjw/geMoldInsight
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
346 Commits 1 Branch 0 Tags
main
Commit Graph

7 Commits

Author SHA1 Message Date
cjw aaaac95b53 fix(init_db): await 优先级漏括号——启动迁移自诞生起从未执行成功（事故根因） 
has_alembic = await conn.execute(...).scalar()  因 await 优先级低于
属性访问，实际解析为 await (conn.execute(...).scalar())——在协程对象
上调 .scalar() 必抛 AttributeError('coroutine' object has no attribute
'scalar')。启动迁移每次容器启动都在第一行炸掉，再被 except 吞成一行
日志（4a5dc61 已改为 logger.exception）。两行均改为
(await conn.execute(...)).scalar()。

已于生产库实测：主库路径（has_alembic=True→upgrade no-op）与临时
历史库路径（stamp+upgrade）全部跑通，临时库已删除。

至此 2026-09-26 事故根因链闭合：启动迁移从未生效 → prod schema 长期
落后于模型 → 新镜像上线即上传 500（缺 product_id）。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-09-26 23:17:33 +08:00
cjw 4a5dc61a02 fix(init_db): 启动迁移失败不再静默——logger.exception 带 traceback + schema 覆盖校验 
2026-09-26 事故复盘：AUTO_MIGRATE=true 但启动迁移在 stamp 之前就抛异常，
except 里 logger.error(f"{e}") 丢掉了 traceback，docker logs 只剩一句
"数据库初始化失败"，prod 缺 stp_files.product_id 等列导致上传全挂，
无从定位。两个修复：

- 初始化异常改用 logger.exception，完整 traceback 落日志
- 新增启动期 _verify_schema_coverage：模型声明的 32 张表全部列必须真实
  存在于 DB，缺失即 error 点名（只查缺不查多，遗留列不报）；迁移后自动
  执行，只读、自身异常不影响启动

已对生产库实跑验证：32 张表全部通过。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-09-26 23:11:30 +08:00
cjw 2c9ba9d6b3 D17 批 1：Human-in-Loop 老师傅经验反馈（数据 + 权限 + 写入 API） 
新增 experience_feedback 表（32 表迁移，alembic head b7d1f4a92c3e），
老师傅对系统推荐方案给出"采纳 / 调整 / 拒绝"反馈，按"产品指纹 +
工艺参数"为键跨任务匹配，下次同指纹产品分析自动消费。

变更内容：
- src/moldinsight/models/experience_feedback.py（new）ORM：Base 单点来源、
  跨模块裸 FK（user_id / processing_task_id / stp_file_id）、不建 ORM
  relationship；fingerprint JSON 列存跨任务匹配键
- src/moldinsight/models/__init__.py 导出 ExperienceFeedback
- migrations/versions/b7d1f4a92c3e_add_experience_feedback.py（new）32 表
  迁移；fingerprint 列 PG 下加 GIN 索引（jsonb_path_query 支持）
- src/shared/database/init_db.py 加 3 个权限码（view_experience_feedback /
  feedback_experience_hint / manage_experience_feedback）+ 新角色
  process_engineer；admin 角色 permissions 同步补齐；init_permissions /
  init_roles 改为按 code 比对（新增保留已有 id，避免 FK 引用失效）——
  修复既有 DB 启动期漏掉新权限的幂等 bug
- src/moldinsight/services/experience_feedback_service.py（new）service：
  compute_fingerprint 分桶（bbox_aspect / volume_bucket / face_bucket /
  undercut_class / material_family / is_foam）/ record_feedback（D9 边界：
  service.flush + 路由 commit；D17 衰减：同 stp_file_id 整体续期 90 天 TTL，
  无 celery beat 依赖）/ list_hints_for_task / resolve_for_process_params
- src/moldinsight/api/experience_feedback_router.py（new）路由：Pydantic
  模型写在路由文件内（项目硬规则）；POST /api/tasks/{task_id}/experience-feedback
  + GET /api/tasks/{task_id}/experience-hints；归属 TaskQueryService.ensure_task_access
  + User.has_permission 全仓首次调用点
- src/moldinsight/api/__init__.py ROUTE_MODULES 注册新路由
- tests/test_model_ownership.py EXPECTED_TABLES 加 experience_feedback
  （31→32）
- tests/test_experience_feedback_fingerprint.py（new）分桶参数化覆盖
  bbox / volume / face / undercut / material / is_foam 各边界值
- tests/test_experience_feedback_router.py（new）API 契约 9 例
  （401/403/422/200 路径 + 衰减续期 + 任务归属校验 + ORM 注册收口）
- docs/STATUS.md 顶部加 2026-09-23 批 1 日志条目
- docs/TECH_DEBT.md D17 加批 1 已完成描述 + 剩余工作清单
- docs/API_CONTRACT.md §3.2 加 D17 端点表格

测试基线：185 passed, 9 skipped（净增 59 测试）。

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-09-23 16:11:17 +08:00
cjw 0e6b3b1811 后端设计治理：批次 0-4 全部完成（安全/部署/一致性/结构/架构） 
按 ROADMAP §3.1 治理批次推进的后端设计审查整改：

- 批次 0（安全）：/api/status/{task_id} 补 JWT 鉴权与任务归属校验；
  pythonocc_available 真实探测；bcrypt 超 72 字节显式拒绝；
  SECRET_KEY/RUSTFS_* 惰性校验，代码侧弱默认移除
- 批次 1（部署正确性）：主处理链路改走 RustFS（分派入参 stp_file_id 化，
  worker 按 object_key 下载）；AUTO_MIGRATE 开关 + 迁移目录 alembic/→migrations/
  修复包遮蔽（自动迁移此前从未真正生效）；OCC 镜像改 conda 原生执行 +
  基础镜像 tag 锁定；compose 关键项改 ${VAR:?} 强制显式配置
- 批次 2（任务一致性）：删除 Redis 进程内存回退，PG 为任务状态单一事实源；
  批量元数据入库（processing_tasks.batch_id，迁移 a3f8c2d91e47）；
  型腔失败任务标 failed 不再静默 completed；事务边界收口
  （数据本体写 flush-only、失败先回滚再置 failed、进度更新保留即时 commit）
- 批次 3（API 与代码结构）：592 行 advanced_router 拆为 design/cost/machining/
  export 四子路由，请求体全量 Pydantic 化；ROUTE_MODULES + route_registry
  （/api/health 呈现 degraded，DEBUG fail fast）；纯计算端点统一 to_thread；
  StorageIntegrationService 按职责三拆；MAX_FILE_SIZE 接线生效、
  celery 复用 Settings.redis_url；管理员重置密码改 JSON body（端到端断裂修复）；
  openapi.json 重导出（76 paths）+ 前端 gen:api
- 批次 4（架构演进）：共享 ORM 按模块拆分（shared/models/base.py + identity.py、
  moldinsight/models/、inventory/models/，删除三条无使用方的跨模块
  relationship，跨模块桥接收敛为裸 FK 硬规则，无兼容 facade）；
  OCC executor 重建补 cancel_futures=True（消除旧队列被慢恢复线程
  并行消化的数据竞争）；OCC 吞吐方案设计先行
  （docs/topics/performance/OCC_THROUGHPUT.md）；顺手清偿 D15
  （vite.config.ts 未用参数致 npm run build 失败）

测试基线：125 passed, 2 skipped（pytest + sqlite+aiosqlite；归属边界、
路由契约、配置治理、鉴权回归等随批新增）
文档同步：STATUS / TECH_DEBT / ROADMAP / ARCHITECTURE / API_CONTRACT /
OPERATIONS / AGENTS

Co-Authored-By: Claude Code <noreply@anthropic.com>
 2026-09-17 16:15:49 +08:00
cjw 4537faf2c4 优化 2026-09-16 17:55:04 +08:00
cjw 00ca81287e feat(db): 引入 Alembic 取代裸 DDL 迁移 
- alembic init + env.py 接 settings/models metadata（asyncpg->psycopg2 同步 URL）
- 补 3 个 CheckConstraint 到 models（原只在裸 DDL）
- 离线生成初始迁移（31 表+约束+95 索引，全 sa.* 通用类型）
- init_db 用 _run_alembic_migrations（自动基线+upgrade head）替换 create_tables+ensure_schema_updates（删 92 行裸 DDL）
- 删破坏性 migrate_db.py（drop_all）
- 既有 DB 首次启动自动 stamp 基线，无需手动

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-20 11:04:23 +08:00
cjw 823a387118 后端模块拆分 2026-05-29 18:10:08 +08:00