4 Commits

Include renames

Author	SHA1	Message	Date
tao.chenandClaude	876f1c9edb	uploads: dual-write uploads to DB, startup backfill, and audit log ... Store now indexes every Save into the upload_files table via SetRepo. DB failures are logged as warnings and do not fail the upload because .meta.json remains the source of truth and startup backfill recovers. Add Store.Backfill to walk Root at startup and insert index rows for any pre-existing .meta.json sidecars, swallowing duplicate-key races. The upload_file MCP Tool now writes an audit_log entry on success. Tests cover dual-write args, repo-error non-failure, and backfill skipping existing rows. Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-14 11:30:39 +08:00
tao.chenandClaude	157848d87a	main: bound startup sweep with context timeout ... Sweep() used to run synchronously at startup without any time bound. On a large uploads directory this can block the server for 30s or more, keeping /healthz returning 503 while the reaper works. Add a context timeout so startup continues if the sweep cannot finish within budget. The timeout is set to 5 seconds: long enough to clear typical leftover state, short enough that a stuck sweep will not meaningfully delay health checks or startup readiness. Change Store.Sweep to accept a context.Context and check ctx.Err() at the top of each iteration. If the context is cancelled or times out, Sweep returns the files deleted so far and ctx.Err(). Add TestStore_Sweep_HonorsContextCancel to ensure a cancelled context causes Sweep to exit early instead of running to completion. Deliberately unchanged: there is still no periodic reaper. The server only sweeps once at startup; this change just bounds that single sweep. Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-14 10:18:13 +08:00
tao.chen	dab4cd062e	修复 spark_submit 参数重复、上传校验绕过等 8 处缺陷 ... 对应代码审查发现的问题（#1, #2, #4-#8, #10）： #1 CRITICAL：spark_submit 在 argv 中重复拼接 binary。此前 cmd := []string{binary} 后又把 cmd 作为 Args 传给 executor.Run， 而 executor 会再拼一次 Binary，导致 OS argv 为 [binary, binary, ...]， spark-submit 会把自身当作应用 jar。现在 cmd 从 --master 开始， executor.Run 使用 Binary + Args，argv 正确。 #2：Validate 曾接受 .meta.json 路径本身。现在显式拒绝 sidecar 路径， 要求传入数据文件路径。 #4：Sweep 对 sidecar 损坏的数据文件跳过清理。现在损坏 sidecar 会回退 到数据文件 mtime，超期即删除。 #5：upload_file 描述仍引用已移除的 args 字段，已改为引用 script_path 及结构化字段。 #6：Deps.UploadStore 改为值类型 uploads.Store，避免 nil 绕过上传校验； 移除 spark_submit/upload_file 中的 nil 检查。 #7：master/queue/executor_memory 增加空字符串校验。 #8：提取 buildSparkSubmitCommand 构建 argv，消除双写参数的结构性根因。 #10：Validate 失败时记录 slog.Warn("spark_submit.unminted_path_rejected")。 新增测试： - TestSparkSubmit_StructuredCommand：断言 argv 首行为 --master，末行 仍为 script_path。 - TestSparkSubmit_EmptyMaster：空 master 返回错误。 - TestStore_Validate_RejectsSidecarPath：拒绝 .meta.json 路径。 - TestStore_Sweep_DeletesDataWithCorruptSidecar：损坏 sidecar 的数据文件 被清理。 未在本提交处理： - #9 cluster.DefaultSubmitArgs 弃用留作后续批次。 Co-Authored-By: tao.chen <93983997+taochen-ct@users.noreply.github.com>	2026-07-14 10:09:48 +08:00
tao.chenandClaude	f374ebfdb4	uploads,tools,config,main: 将 upload_file 返回路径改为服务器端绝对路径并透传给 spark_submit ... 之前 upload_file 把文件写到 DataDir/uploads/<filename>，返回相对路径 uploads/hello.txt。MCP 服务器与 agent 不在同一台机器，agent 无法构造服务 器本地路径，因此 spark_submit 无法定位脚本。 改为由新的 internal/uploads 包 mint 一个 32 字符十六进制 file_id，文件落盘为 DataDir/uploads/<file_id>，元数据写入 <file_id>.meta.json（原始文件名只存在 sidecar 里）。upload_file 返回 {file_id, path, name, size, sha256}，其中 path 是绝对路径。spark_submit 的 description 明确要求 LLM 直接把 upload_file 返回 的 path 放进 args，不要自己构造路径。 为什么只在描述里约束而不在代码里拒绝非 mint 的绝对路径：集群本地已有路径 （如 /opt/spark/examples/pi.py）是合法的 spark-submit 参数，代码不能替 LLM 拒绝。 测试锁定： - internal/uploads: Save 往返、AbsPath/Validate 非法路径、Sweep 过期/未过期/ 孤立 sidecar - internal/mcp/tools: upload_file 新响应字段、spark_submit 透传 mint 路径与 集群本地路径 刻意未做：S3/HDFS 上传、给 spark_submit 新增 file_id 参数、在代码层面拒绝 集群本地绝对路径。 破坏性变更：upload_file 响应从相对 path 改为绝对 path，并新增 file_id/name/ sha256 字段。该工具尚无外部调用者。 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-13 19:13:14 +08:00