spark-mcp

33 Commits 1 Branch 2 Tags

3 Commits

Include renames

Author	SHA1	Message	Date
tao.chenandClaude	157848d87a	main: bound startup sweep with context timeout Sweep() used to run synchronously at startup without any time bound. On a large uploads directory this can block the server for 30s or more, keeping /healthz returning 503 while the reaper works. Add a context timeout so startup continues if the sweep cannot finish within budget. The timeout is set to 5 seconds: long enough to clear typical leftover state, short enough that a stuck sweep will not meaningfully delay health checks or startup readiness. Change Store.Sweep to accept a context.Context and check ctx.Err() at the top of each iteration. If the context is cancelled or times out, Sweep returns the files deleted so far and ctx.Err(). Add TestStore_Sweep_HonorsContextCancel to ensure a cancelled context causes Sweep to exit early instead of running to completion. Deliberately unchanged: there is still no periodic reaper. The server only sweeps once at startup; this change just bounds that single sweep. Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-14 10:18:13 +08:00
tao.chen	dab4cd062e	修复 spark_submit 参数重复、上传校验绕过等 8 处缺陷对应代码审查发现的问题（#1, #2, #4-#8, #10）： #1 CRITICAL：spark_submit 在 argv 中重复拼接 binary。此前 cmd := []string{binary} 后又把 cmd 作为 Args 传给 executor.Run，而 executor 会再拼一次 Binary，导致 OS argv 为 [binary, binary, ...]， spark-submit 会把自身当作应用 jar。现在 cmd 从 --master 开始， executor.Run 使用 Binary + Args，argv 正确。 #2：Validate 曾接受 .meta.json 路径本身。现在显式拒绝 sidecar 路径，要求传入数据文件路径。 #4：Sweep 对 sidecar 损坏的数据文件跳过清理。现在损坏 sidecar 会回退到数据文件 mtime，超期即删除。 #5：upload_file 描述仍引用已移除的 args 字段，已改为引用 script_path 及结构化字段。 #6：Deps.UploadStore 改为值类型 uploads.Store，避免 nil 绕过上传校验；移除 spark_submit/upload_file 中的 nil 检查。 #7：master/queue/executor_memory 增加空字符串校验。 #8：提取 buildSparkSubmitCommand 构建 argv，消除双写参数的结构性根因。 #10：Validate 失败时记录 slog.Warn("spark_submit.unminted_path_rejected")。新增测试： - TestSparkSubmit_StructuredCommand：断言 argv 首行为 --master，末行仍为 script_path。 - TestSparkSubmit_EmptyMaster：空 master 返回错误。 - TestStore_Validate_RejectsSidecarPath：拒绝 .meta.json 路径。 - TestStore_Sweep_DeletesDataWithCorruptSidecar：损坏 sidecar 的数据文件被清理。未在本提交处理： - #9 cluster.DefaultSubmitArgs 弃用留作后续批次。 Co-Authored-By: tao.chen <93983997+taochen-ct@users.noreply.github.com>	2026-07-14 10:09:48 +08:00
tao.chenandClaude	f374ebfdb4	uploads,tools,config,main: 将 upload_file 返回路径改为服务器端绝对路径并透传给 spark_submit 之前 upload_file 把文件写到 DataDir/uploads/<filename>，返回相对路径 uploads/hello.txt。MCP 服务器与 agent 不在同一台机器，agent 无法构造服务器本地路径，因此 spark_submit 无法定位脚本。改为由新的 internal/uploads 包 mint 一个 32 字符十六进制 file_id，文件落盘为 DataDir/uploads/<file_id>，元数据写入 <file_id>.meta.json（原始文件名只存在 sidecar 里）。upload_file 返回 {file_id, path, name, size, sha256}，其中 path 是绝对路径。spark_submit 的 description 明确要求 LLM 直接把 upload_file 返回的 path 放进 args，不要自己构造路径。为什么只在描述里约束而不在代码里拒绝非 mint 的绝对路径：集群本地已有路径（如 /opt/spark/examples/pi.py）是合法的 spark-submit 参数，代码不能替 LLM 拒绝。测试锁定： - internal/uploads: Save 往返、AbsPath/Validate 非法路径、Sweep 过期/未过期/ 孤立 sidecar - internal/mcp/tools: upload_file 新响应字段、spark_submit 透传 mint 路径与集群本地路径刻意未做：S3/HDFS 上传、给 spark_submit 新增 file_id 参数、在代码层面拒绝集群本地绝对路径。破坏性变更：upload_file 响应从相对 path 改为绝对 path，并新增 file_id/name/ sha256 字段。该工具尚无外部调用者。 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-13 19:13:14 +08:00

Author

SHA1

Message

Date

tao.chenandClaude

157848d87a

main: bound startup sweep with context timeout

Sweep() used to run synchronously at startup without any time bound.
On a large uploads directory this can block the server for 30s or more,
keeping /healthz returning 503 while the reaper works. Add a context
timeout so startup continues if the sweep cannot finish within budget.

The timeout is set to 5 seconds: long enough to clear typical leftover
state, short enough that a stuck sweep will not meaningfully delay
health checks or startup readiness.

Change Store.Sweep to accept a context.Context and check ctx.Err() at
the top of each iteration. If the context is cancelled or times out,
Sweep returns the files deleted so far and ctx.Err().

Add TestStore_Sweep_HonorsContextCancel to ensure a cancelled context
causes Sweep to exit early instead of running to completion.

Deliberately unchanged: there is still no periodic reaper. The server
only sweeps once at startup; this change just bounds that single sweep.

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-14 10:18:13 +08:00

tao.chen

dab4cd062e

修复 spark_submit 参数重复、上传校验绕过等 8 处缺陷

对应代码审查发现的问题（#1, #2, #4-#8, #10）：

#1 CRITICAL：spark_submit 在 argv 中重复拼接 binary。此前
    cmd := []string{binary} 后又把 cmd 作为 Args 传给 executor.Run，
    而 executor 会再拼一次 Binary，导致 OS argv 为 [binary, binary, ...]，
    spark-submit 会把自身当作应用 jar。现在 cmd 从 --master 开始，
    executor.Run 使用 Binary + Args，argv 正确。
#2：Validate 曾接受 .meta.json 路径本身。现在显式拒绝 sidecar 路径，
    要求传入数据文件路径。
#4：Sweep 对 sidecar 损坏的数据文件跳过清理。现在损坏 sidecar 会回退
    到数据文件 mtime，超期即删除。
#5：upload_file 描述仍引用已移除的 args 字段，已改为引用 script_path
    及结构化字段。
#6：Deps.UploadStore 改为值类型 uploads.Store，避免 nil 绕过上传校验；
    移除 spark_submit/upload_file 中的 nil 检查。
#7：master/queue/executor_memory 增加空字符串校验。
#8：提取 buildSparkSubmitCommand 构建 argv，消除双写参数的结构性根因。
#10：Validate 失败时记录 slog.Warn("spark_submit.unminted_path_rejected")。

新增测试：
- TestSparkSubmit_StructuredCommand：断言 argv 首行为 --master，末行
  仍为 script_path。
- TestSparkSubmit_EmptyMaster：空 master 返回错误。
- TestStore_Validate_RejectsSidecarPath：拒绝 .meta.json 路径。
- TestStore_Sweep_DeletesDataWithCorruptSidecar：损坏 sidecar 的数据文件
  被清理。

未在本提交处理：
- #9 cluster.DefaultSubmitArgs 弃用留作后续批次。

Co-Authored-By: tao.chen <93983997+taochen-ct@users.noreply.github.com>

2026-07-14 10:09:48 +08:00

tao.chenandClaude

f374ebfdb4

uploads,tools,config,main: 将 upload_file 返回路径改为服务器端绝对路径并透传给 spark_submit

之前 upload_file 把文件写到 DataDir/uploads/<filename>，返回相对路径
uploads/hello.txt。MCP 服务器与 agent 不在同一台机器，agent 无法构造服务
器本地路径，因此 spark_submit 无法定位脚本。

改为由新的 internal/uploads 包 mint 一个 32 字符十六进制 file_id，文件落盘为
DataDir/uploads/<file_id>，元数据写入 <file_id>.meta.json（原始文件名只存在
sidecar 里）。upload_file 返回 {file_id, path, name, size, sha256}，其中 path
是绝对路径。spark_submit 的 description 明确要求 LLM 直接把 upload_file 返回
的 path 放进 args，不要自己构造路径。

为什么只在描述里约束而不在代码里拒绝非 mint 的绝对路径：集群本地已有路径
（如 /opt/spark/examples/pi.py）是合法的 spark-submit 参数，代码不能替
LLM 拒绝。

测试锁定：
- internal/uploads: Save 往返、AbsPath/Validate 非法路径、Sweep 过期/未过期/
  孤立 sidecar
- internal/mcp/tools: upload_file 新响应字段、spark_submit 透传 mint 路径与
  集群本地路径

刻意未做：S3/HDFS 上传、给 spark_submit 新增 file_id 参数、在代码层面拒绝
集群本地绝对路径。

破坏性变更：upload_file 响应从相对 path 改为绝对 path，并新增 file_id/name/
sha256 字段。该工具尚无外部调用者。

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-13 19:13:14 +08:00