单 PR 约 80 美元调到约 15–20 美元,靠的是可回放|Latent Space × Zach Lloyd

中文深度整理,非逐字翻译
原始标题
⚡️ The 2026 Software Factory Standard — Zach Lloyd, Warp.dev
节目 / 来源
Latent Space
嘉宾
Zach Lloyd
原始发布日期
2026-11-04
时长
约 35 分钟
内容类型
播客访谈 / 软件工厂与智能体编排
原始内容
前往原始来源 ↗

Warp 落地页的大标题,主持人念出来是 open infrastructure for cloud software factories。Zach Lloyd 说他碰到的公司,多数都在自建某种内部软件工厂。他在 AIE 上的那场演讲,主持人说传得很广。这场对谈同时是 AIE Code 的预告:这一年最后一场 AIE 主会,在旧金山。他还会去做一场主题演讲,讲工程师在工厂里变成什么角色。

他自己给的定义比「很多人在搭」更具体。软件工厂是云上的一套智能体系统。你写明各个智能体在为团队或产品做软件时各扮什么角色,系统里有一定自主性,智能体可以自己往下做。这套东西要可度量、可闭环。团队能调、能测、能做基准,然后才有把握说,人改用这种方式做 AI 开发时,走的是可扩展、也有效率的那条路。

原始来源:⚡️ The 2026 Software Factory Standard — Zach Lloyd, Warp.dev。中文深度整理,非逐字翻译。本文依据 YouTube 自动生成的英文字幕,专有名词和数字可能有识别误差。Claude Code 在字幕里多次听成 cloud code,Codex 听成 codeex,下文按 Claude Code 与 Codex。成本、吞吐和 Slack 占比都是 Warp 内部口播,字幕没有给出 PR 的绝对数量。

工厂要能跑、能测,先写成代码

人们找上门时,常把几段自动化串起来,或者智能体用得多,就管那摊东西叫内部软件工厂。也有人以为买下一套,另一头就会出来一台赚钱机器。

Warp 把工厂收成一件具体的东西。一个产品面一套工厂,比如移动应用,或者服务端。工厂作用在一组仓库上,带一组技能和 MCP,再带一条和团队现有做法大致对齐的流程:分诊、写规格、实现。MCP 是模型去调用外部工具的接口。整件事写在代码里。他们用一份 YAML:哪些仓库、哪些 MCP、哪些集成。

用的人分两种。做产品工程的人,从已经在用的工具把工作放进工厂:Slack、Linear、Jira、GitHub,或者 API 和 MCP。服务器报错这类自动化也进同一套系统。工作项一进去,就走上那条预先写好的流程。

集中之后,才有跨产品的痕迹。演示里,有人在 Slack 上做移动应用。字幕里的名字听成 Sopic,也听成 Sophic,下文不改成某一个确定拼写。对话、电脑操作的截图、编排智能体各段在做什么,都留着。他说今天多数公司没有这个,因为工程师各自在本机终端里用 Claude Code,或用 Codex 应用。

有了集中的痕迹,才能切几刀。传统的 DORA:一件事要多久才能发出去。DORA 是一套软件交付指标。自动化程度:每个合并的 PR,人插手几次。吞吐。成本。成本可以按人切,按自动化切,按软件开发生命周期的哪一段在花钱切。

在线评测他们叫 scorers。平台给一套通用的,公司也可以按自己的失败模式加,都定义在代码里。形式是让模型当裁判,回头给历史运行打分,还要设采样率,因为裁判本身花钱。例子是冗余测试:智能体边试边写下一堆不需要的测试,留在代码里,仓库变肿,token 也浪费。用这套视图的人,他和主持人说,常见是工程经理、CTO、平台或开发者体验团队,不一定是每天写功能的工程师。

先观察,再把单 PR 从约 80 美元调下来

原则他讲给所有在自建工厂的人,最后用不用 Warp 另说:东西要存下来,要可观察,要可度量,然后才能用工程方式改进编程智能体。时间线上天天有人推荐新模型、新 harness。Harness 是包住模型、让它能调用工具并维持运行的那一层。Pi、Claude Code、Cursor,哪个更好,他要的是量。

量完还可以再套一层。评分里看见失败,就让智能体提议改系统。一个例子:自改进智能体看分诊这一步,找出 54 个同一类失败,认为分诊要是能拉起一个子智能体去做调查会更好。工厂定义在代码里,编程智能体可以对着这份定义提一个 pull request。他接着说,用回放去验证「这条改动真的会让当时那些运行变好」,他们还没有。那是下一步想做的。

基准测试是把系统里真实跑过的编程智能体任务收进套件,再对一组配置重放。变的不只是模型,还有 harness。Warp 有自己的 harness,也可以对 Claude Code、Codex 或 Pi 做对照,模型另选。出来的图,形状像公开的 SWE 或 Terminal Bench,任务却是这家公司自己的运行。要的象限是左上:成本低,正确性高。演示里一组稍旧的模型,口播听成 GPT56 soul,这组任务上大约 95% 正确,平均大约 6 美元;GLM 53 flash 大约 93%,大约 2 美元。专名按字幕保留,不改成另一款已发布型号。这些数可以喂进只为自家流程和代码库写的模型路由,或 harness 路由。他把这件事叫 factory engineering:团队怎么知道编程智能体部署对了。

Warp 自己的调参口播是这样。刚开始用工厂时,单 PR 大约 80 美元。Opus 用在不该用的地方,分诊智能体用了过重的模型,子智能体相对「少几个智能体」太多,有一批重复劳动。用这套内置能力做内部调参和测试之后,单 PR 到大约 20 美元或 15 美元。近一个月 PR 吞吐大约上升 40%。他们量回滚率,没有上升。他由此对「观察、度量、调参」有信心。这是 Warp 内部口播。字幕没有业界对照,也没有 PR 的绝对数量。

编排器只是一层,入口嵌进已有工具

他把要搭的东西说成一叠。

最底下,工厂用声明式代码定义,类比 Terraform。软件生命周期因此有版本,可以开分支去试,改坏了可以回退。生命周期他沿用 SDLC,也提到别人说的 AI DLC、PDLC。代码里的定义还有一层:编程智能体可以提议改工厂本身。他认为这是一套能自我改进的工厂的地基。

往上,要有地方收下智能体产出的全部信息:对话和产物,以及从各个工具到结果的交互记录。一条线可能从 Slack 进 Linear,再进 GitHub 的评审评论,最后合并。发出去之后服务崩了,还要能回头查失败出在哪。查的可以是智能体,也可以是人。

数据进系统靠 MCP。公司一大,市场、销售、工程能碰哪些 MCP,要分开。

算力层单独看,并且可替换。他们主要用 Namespace。主持人提到 Namespace 在 AI Europe 发布。也可以是 Daytona、Modal、E2B。默认他倾向 Linux 沙箱。测 iOS 时要能跑 Mac 虚拟机,把模拟器跑起来并点进去。

推理保持开放。不少公司已经跟 Anthropic、OpenAI 或 Google 有用量承诺,想先烧掉。可以接自己的推理供应商,也可以经 Warp 买。也可以接自己的 harness,包括 Pi,以及他说的任何兼容 ACP 的 harness。ACP 按口播保留。

改进层就是前面演示的那套。

编排器常常被说成整套平台。在他的分层里,编排器是其中一块:读工厂定义,把工作沿阶段推进,叫对模型和技能,触发该触发的自动化。

入口上,他们的做法是把工厂嵌进公司已经在用的知识工作工具。口播大约 60% 的工作从 Slack 开始。有时从任务追踪起更合适。有的开发者更习惯在终端里用 Claude Code 做完一段,再把规格交进工厂。工厂做成 API 和 MCP 驱动的无头基础设施,入口很多。这叠东西,他说落在比 CI/CD 再往里一层的开发者基础设施上。CI/CD 是持续集成和持续交付。多数公司做软件开发时,他预期会有类似的一层。

五到十人可能是地板,Uber 和 Ramp 他不拿来套

谁该上这套,他按规模说。几个人的团队,这是过头了。更快的办法是 Claude Code 或 Codex 的订阅,直接做。地板他看到大约 5 到 10 名工程师。再往上,到很大的公司都想要类似的东西。公司越大,落地越不像即插即用,内部开发环境的复杂度跟着规模长。大约 10 到 100 人、长得快的成长型公司,如果已经是他口中的常见组合——Slack、Linear、Jira,他随口叫 happy stack,并说这不是在贬 Teams——接上就能较快看到价值。Slack 或 Linear 这种多人在同一处工作的环境里,服务器崩溃频道、用户反馈频道可以直接送进工厂,工厂再按谁懂那块代码把人拉进来。

他点名不适合拿这套去套的例子:基础设施非常定制、内部开发者团队很大、自己在建的公司。例子是 Uber 和 Ramp。这是适配判断。字幕没有客户名单,也没有这两家内部架构的说明。

很小的团队还有一笔账。主持人说,很多人直接按 API 付费,API 比买一堆订阅贵大约 5 到 50 倍。这是对话里的口述,字幕没有价目表。Zach 说他们碰到小公司,系统看着好,人却在轮换一堆 200 美元的订阅。主持人补了一句,像在轮换 17 个订阅。Zach 说他并不清楚这是否允许。如果做得到,那是最便宜的办法,同时会丢掉集中之后的那些好处,也不可扩展。公司大到一定程度,他认为不会被允许继续这么做。主持人又说,200 美元的方案能拿到大约 8000 美元的 API 额度。Zach 称这很夸张。

他因此不想做纯粹转卖 token 的编程智能体生意。那门生意要在贵得多的成本上跟订阅补贴竞争。他对 Cursor 的读法是:对方把这本账看清了,走了一条很好的退出,变成模型实验室。这是他的判断。Warp Factories 他要做的是编程智能体的优化和生产力平台。独立编程智能体他还看得到的,口播是 Cognition、OpenCode,以及 Factory。

下一场演讲他预告两种工程:产品工程,和工厂工程。工程师要练的,是去建造那个建造软件的系统。招聘和社交账号按下不表。