AI 笔记

DeepSeek V4 Flash 双 GB10 Agent 推理优化开源

DeepSeek V4 Flash 已在两块 NVIDIA GB10 上完成面向真实 Agent 任务的推理优化,开源正式性能结果、运行配置与 Harbor Town 视觉编码测试。

DeepSeek V4 Flash 双 NVIDIA GB10 推理优化项目现已开源。项目把真实 Agent 工作负载放在首位,既要处理较长输入,也要面对多个任务同时到达的情况。正式发布的 Fair-Prefill V6 数据给出了 Prefill 与等待时间。在 Harbor Town AI Progress 测试中,OpenCode 调用本地服务完成了一项可直接运行和查看的视觉 AI 编码任务。代码、配置与核验材料都随项目公开。

32K 下看 Agent 并发

32K 表格固定输入长度,逐级增加并发数。C4 时,聚合 Prefill 达到 1,842.04 tok/s,TTFT P95 为 71.49 秒,E2E P95 为 81.72 秒。这组数字说明多个中等长度 Agent 请求同时进入服务时,输入合计处理多快,首个输出和任务结束各要等多久。

同一张表也给出 C1 参照。单请求的聚合 Prefill 为 1,900.59 tok/s,TTFT P95 为 20.89 秒,E2E P95 为 25.56 秒。读者可以直接对照 C1 与 C4 的等待时间。

<!-- local-source=spoke/queue/assets/003/exports/fair-prefill-v6-concurrency.png --> ![Fair-Prefill V6 在 32K 输入下的并发结果](/blog-images/deepseek-v4-flash-2x-gb10/fair-prefill-v6-concurrency.png)

单请求测到 128K

C1 表格保持单请求,逐步把输入从 8K 增加到 128K。128K 时,Prefill 为 1,686.06 tok/s,TTFT P95 为 81.92 秒,E2E P95 为 85.91 秒。长输入增长到这一档后,服务仍完整给出自然停止的结果。

8K 一端的 Prefill 为 2,089.07 tok/s,TTFT P95 为 4.45 秒,E2E P95 为 9.62 秒。首尾两行把单请求从短输入延伸到 128K 的变化放在同一口径下。

<!-- local-source=spoke/queue/assets/003/exports/fair-prefill-v6-length.png --> ![Fair-Prefill V6 单请求从 8K 到 128K 的结果](/blog-images/deepseek-v4-flash-2x-gb10/fair-prefill-v6-length.png)

两张表都直接采用项目 README 的 Fair-Prefill V6 正式结果,完整表格同时保留 Decode 数据。正式基准属于 v0.1.1,把 `max_model_len` 设为 `262144`,测量止于 128K,并关闭 Prefix Cache。服务本身支持 Prefix Cache,这次关闭它,是为了让每条请求都从零处理输入。

每个场景运行 12 个正式波次,波次覆盖四类真实 Agent 任务,并按自然停止结束。每次完整源运行在 96 个计量波次里得到 168/168 正确结果,没有触及输出上限,Prefix Cache 查询和命中均为零。

运行采用 TP=2、PP=1,双 GB10 使用一条 RoCE/IB 通道,DSpark depth 设为 5。`max_num_seqs` 为 6,批处理上限为 12288,GPU 显存利用率为 0.80。仓库保留了这些运行条件,两张表中的数值均在这组固定运行条件下取得。

近上限 1M 请求已接收

常规窗口基准之外,项目还验证了单次近上限 1M 请求。服务的 `max_model_len` 设为 `1048576`,请求包含 1,048,038 个 API 分词后的 prompt tokens,返回 HTTP 200,并准确取回放在输入开头的唯一标记。记录中的 cached tokens 为零,请求结束后没有 OOM,服务也没有重启。首个内容 token 等待 1,643.217 秒,按这条请求折算,Prefill 约为 637.8 tok/s。

这项结果只表示服务接收并完成了一条近上限请求。它没有覆盖 1M 吞吐基准或并发矩阵,也不能推导两条完整 1M 请求同时运行的表现。

这次验收记录于 2026 年 8 月 10 日,时间晚于 v0.1.1 发布,原有标签保持不变。机器可读的结果可以在 [近上限 1M 验收记录](https://github.com/Approaching-AI/deepseek-v4-flash-2x-gb10/blob/main/artifacts/context-1m-acceptance-2026-08-10.json)中核对。

Harbor Town 把 Agent 结果跑出来

Harbor Town AI Progress 是 Ethan Mollick 提出的跨模型视觉 AI 编码测试,也称 Harbor Town AI Gallery。不同模型收到同一道开放任务,要在一个 `index.html` 里完成从公元前 3000 年演化到公元 3000 年的交互式程序生成 3D 港口城镇。视觉设计和历史阶段由模型决定,模拟系统与控制方式也由模型安排。

OpenCode 调用本地 DeepSeek V4 Flash,累计执行约 29 分钟,完成 Harbor Town、排错并通过最终验证。

交付的网页随后实际运行并检查。读者可以拖动时间轴查看城镇和周边环境的演化,也能检查镜头控制。加速录像保留了这次工作流,方便直接查看结果。

<!-- local-source=spoke/queue/assets/003/exports/harbor-town-accelerated.mp4 --> [观看 Harbor Town 加速录像](/blog-images/deepseek-v4-flash-2x-gb10/harbor-town-accelerated.mp4)

代码与后续更新

配置、运行方法和完整结果见 [DeepSeek V4 Flash 双 GB10 项目仓库](https://github.com/Approaching-AI/deepseek-v4-flash-2x-gb10),[个人仓库](https://github.com/rjckkkkk/deepseek-v4-flash-2x-gb10)也保留公开版本。仓库里的 v0.1.1 对应正式基准,近上限 1M 验收作为后续证据保存在组织仓库 main 分支。

Approaching-AI 还公开了 [NVIDIA GB10 上的 Qwen 项目](https://github.com/Approaching-AI/qwen36-gb10-highspeed)和 [AMD Ryzen AI Max+ 395 上的 Qwen 项目](https://github.com/Approaching-AI/AIMA-AMD395-Qwen36-35B-Linux-Engine),相关硬件条件各自记录在仓库中。前一个项目仍处于预发布阶段,AMD 项目由 Jiawei Guan 创建并维护。后续 Release 可直接关注 [Approaching-AI](https://github.com/Approaching-AI)。

评论区 (0)