同一套原语先给自己用,再原样交给客户|Latent Space × Katelyn Lesse、Angela Jiang

中文深度整理,非逐字翻译
原始标题
How Anthropic ships the #1 LLM in the World — with Katelyn Lesse and Angela Jiang
节目 / 来源
Latent Space
嘉宾
Katelyn Lesse、Angela Jiang
原始发布日期
2026-10-28
时长
约 107 分钟
内容类型
播客访谈 / 前沿实验室发版与平台工程
原始内容
前往原始来源 ↗

一家实验室要同时交出足够强的模型和撑得住的成本。Latent Space 把这期放进上市前的系列,主持先念申报里的效率。人均收入他口中是一年前 140 万美元、现在 660 万美元。会计口径在自动字幕里听拧了,本文不改写,也不拿去对财报。能留下来的是发版本身:同一套 Claude Platform 原语,Claude Code 和 Cowork 在用,付费客户也在用。智力门槛、成本、安全动作要一起取舍。基础设施上刚踩过的坑,要尽快变成客户打开就能用的默认。

录音在 Opus 5.5 发布的第二天。主持说,他们问过的高口味测试者把它当成当时最强的模型。嘉宾的原话是:看你问谁。Katelyn Lesse 和 Angela Jiang 来自 Anthropic。主持称一个负责产品,一个负责工程。口播里 Katelyn 常被认成产品经理,另一位常被认成工程师,两人说那都不是各自的岗位。字幕把 Katelyn 听成 Caitlyn、Kaitlin、Kayla,把 Claude 听成 cloud。下文按节目标题和已能对上的拼写。

原始来源:How Anthropic ships the #1 LLM in the World — with Katelyn Lesse and Angela Jiang。中文深度整理,非逐字翻译。本文依据 YouTube 自动生成的英文字幕,专有名词和数字可能有识别误差。主持的上市系列开场和收尾闲谈略去,申报数字只作他的口播例证。模型代号、客户名按口播保留,不升成另一份公开名单。

原语先做成通用的,用例会回来用它

他们把内部试用叫 ant fooding:Claude 用的就是对外的那套平台。平台团队跑 API,也跑底层的产品基础设施。沙箱机群同时撑 Claude Managed Agents,以及字幕里听成 cloud tag 的那条产品线。两条产品的 harness 不同。harness 是包住模型、让它能调用工具的那一层。底下的执行和 API 是同一套。

Messages API 是原始 token。token 是计量模型用量的单位。Claude Managed Agents 高一层:你定义一个智能体,开一场会话,基础设施和 harness 不用自己搭。记忆和他们称为 dreaming 的机制,是在这层上再放一个受管理的智能体,去看上一个智能体,再把记忆写回去。他们的说法是:受管理的智能体一路套下去。best of n、验证用的智能体,都是同一类拼法。他们准备把这层原语敞给外面,并给一份 dreaming 当模板。团队的精力已经从年初那种逐个功能的爬坡,挪到怎样把模型安全地放出去。技能他们说仍在做,原语留给外面的人接着爬。

授权走的是同一条路。双重用途的能力,比如网络攻防研究,不能靠丢一把密钥、拨一个功能开关。申请要写用途,批了才放宽这一路的在线防护,并且只落到获批的那一个使用者。他们把这套做成信任授予:你被授予某个模型,或某项计划。和普通的「这是不是你的数据」是同一类授权,只是数据模型更干净,挂在请求的热路径上。Fable 5.1 上线保留思考块时,老客户要一段宽限,他们也是发一条信任授予,用来认出谁还需要时间。

设计时他们选了更泛的原语,验证门户没有写死。泛的那套后来管起了模型访问、受信任的访问计划,以及模型部署。Fable 的一次部署里,口播牵出政府这边一个他们没料到的用例。句子不完整,本文不补成某项政策。没人事先把它排进必发的序列,概率又不是零。路线因此改成做一组对冲。其中一条是访问收回:做成按一个按钮就能从所有人那里收回。他们希望这类事不再发生,同一套原语仍先垫在每个人的模型访问下面。对冲做出来的东西,他们事后常常会用上。

发版把智力、成本和安全放在同一次取舍里

产品侧盯的是:智力够不够、成本守不守得住、安全动作怎么落地。降价和他们口中的现金成本更新,是在鼓励客户改集成,并把省下来的传出去。工程侧盯集成手感。API 的体验两边绑在一起,所以工程师要有产品判断,产品也要能钻进规模和取舍。

Katelyn 讲的是防护。分类器跑在他们产出的 token 上。模型被蒸出去、防护被拿掉,才是要挡住的结果。另一位补了一句:商业上这不是他们最在意的账。来蒸的请求仍在付钱。他们在意的是导出之后若走向负面,能力会脱离原来的防护。

取舍卡在用户体验上,而且体验的伤分两层。第一层是要改集成,烦,但原来做得到的事还做得到。第二层是原来做得到的事做不成了。他们极力避开第二层。思考链被抽走,是他们早就知道的缺口,也是蒸馏里很强的一种。于是后面几代模型开始要求跨回合保留思考块,并扩到多个账号。前缀锁定思考、跨模型重放思考 token,都是在把 API 变得更难蒸。合法的压缩策略会被「必须原样保留思考块」打断。他们的做法是先在 API 里做出压缩,让客户换掉自己手写的那一版,而不是把新规则扔出去。开源 harness 的维护者和大客户,他们事先谈过,把升级所需的东西给到。

数据留存按模型单独定。Opus 5.5 没有 Fable 那套留存要求。原因他们讲得很具体:在线看 token 流,抓不住有人批量开账号、在做蒸馏或其他恶意使用。留存是为了事后能做自动审查和人工审查。网络验证计划之外,新加了生命科学验证计划。在线防护按计划和模型而不同。能力往上走,编码这类他们希望客户拿去交付产品。生物和网络攻防两边都能用,正当研究也要能申请到。Fable 被撤回过。主持把外界对零数据留存的惊讶和这次撤回放在一起。他们的回答是:框架要先建在系统里。

安全之外,发版已经像一条流水线。内部先评、先做取舍、先切几个变体,再用自己的产品试。自信的变体再给客户:有的走 Claude Code、Cowork,有的走 API 的早期访问。客户要改自己的 harness。他们点名 Cognition,以及字幕听成 Herser 的另一家,本文不改成别的公司。窗口很短。能进早期访问的,是会把整套评测跑起来、很快交回可执行反馈的客户。好听的反馈用来核对他们自己的假设。最有用的是负的:这里不行,那里不行。

懒和主动就是这样一条负反馈。有人要它把任务做完,有人只是在计划,它已经改了一堆代码。所有人要的落点并不相同,精确对齐做不到。内部试用抓不住这件事,因为内部 harness 太像他们自己。早期版本若显得太懒,他们会送回去再训。API 客户把它放进另一种 harness,才看得到 Claude 是不是仍然通用。

Opus 5.5 他们还对过写作。Opus 5 的文字被反馈说绕。内部试的时候感觉相同,这版收过。价格他们强调的是每一美元买到的智力。评测上,他们的建议很短:与其少,不如多。没有一套评测能回答所有问题。有人先在菜单里挑「最好的评测」,手里的条数仍是零。先做一条简单的,就有帮助。主持把工程说成研究:事先写下目标,收成评测,再看失败。失败有时在评测,有时在环境,有时在模型。

个性化没有套件,只能下判断

主持拿 Frontier Code 一类基准发问:基准会惩罚过多的动作和过多的文件。用户在 CLAUDE.md 里写一句「别这样」,模型就会收敛。基准没有个性化这一维,模型是被罚得不公平,还是基准本来就该这样。

他们的回答是:这件事他们做得不好。偏好互相冲突,难评。宪法还在,解决不了「按这条指令个性化」和「每个人要的不一样」。API 客户的用户群不在他们手里,他们能给的是参数和建议:用力程度、模型大小。Claude Code 的默认用力他们说改成了中等。默认还会按人群动:免费、付费个人、Claude Code、Cowork、企业、API。用户随时能改。他们不愿把旋钮拧死,让人觉得智力的档位不由自己定。

参数已经堆成一堆:用力、预算,还有别的。哪一种组合适合哪一个任务,没有人算得清。有的轴模型已经能理解很细的刻度,全部暴露出来又没用。Claude Managed Agents 的价值就在这里:每次发模型,打破什么、新参数是什么、怎样把 Claude 用好,由他们在自己的 harness 里做完,调用方拿到的是开箱结果。更远的做法是让 Claude 吃进个性化信号,或允许调。现在仍是看全部反馈里互相打架的口味,然后下判断。客户一多,判断就不够用。他们说,发模型时还没对这件事满意过。

沙箱默认安全,是把刚踩的坑交出去

规模和安全是他们现在时间花得最多的两处。算力讨论通常停在加速器。他们说 CPU 一样紧。虚拟机不够,沙箱不够。CPU 同时供给产品服务、API、应用、沙箱,以及持续集成。代码变多,持续集成的次数变多,CPU 跟着变多。训练的 CPU 是另一只桶,公司层面仍是零和:和云厂商谈来的 CPU,要在研究沙箱和产品沙箱之间分。从前预算够就能按需扩。现在要提前做容量计划。沙箱要跑得更省,租户隔离和他们在意的安全属性不能松。

应用层的一步是 Messages API。嘉宾加入时,大约一年多以前,这是一个 Python 单体,跑在单一的 GCP 区域。上周他们把用 Rust 重写的 Messages API 全量推了出去。当时房间里没有一个 Rust 开发者。人设计分布式系统,Claude 写实现。真正要紧的是计划和核对。他们把整份 API 另写了一份,灌影子流量,对照 Python 和 Rust 的输出。他们把它当成移植,迁移期间不加功能。其余人还在 Python 上加功能,移植小组用静态分析盯着漏掉的那一侧。按旧经验,这种迁移要切块、要好几年。他们一次做完,再慢慢打开。CPU 的节省,口播收在 40% 到 50%。首 token 延迟大约改善 10% 到 20%,长任务更高,还在推。主持先说了一个数量级,嘉宾把数字收回这个区间。自动字幕,本文只保留更正后的口播。

下一步他们想动的是:若客户愿意把对话状态存一段时间,就不必每次把整段上下文传回来。提示缓存已经有了,状态仍然要传。长对话上,延迟和效率还有一截。他们跑在三家云上,不能假设机器形态到处一样,只能先用最普通的那种算力。

沙箱是同一笔账的另一面。Claude Managed Agents 把脑和手分开。harness 跑在一台持久的服务器上,要执行时才拉起沙箱或容器。第一版是把 Claude Code 放进沙箱再套一层 API。沙箱和 Claude Code 都起来,才回得了第一个 token。沙箱死了,智能体一起死。新结构先为了延迟和可靠性。从一开始做这件事的产品经理坚持,这套结构最重要的性质是安全。当时周围的人点头,谈的仍是延迟。嘉宾说自己前一天向那个人道过歉,现在见人就讲这件事。

凭证放在单独的保险库。智能体要调 MCP、命令行或别的 API 时,自己只看见占位符。出口代理取出对应凭证,注入后再放行。智能体和凭证不在同一处。旧做法是把凭证送进盒子,再想办法擦掉。出口可以做域名允许列表,也可以直接切断网络。不受信任的代码只能到达你点名的地方。他们把结果叫作 secure by default,默认安全。

客户来问的背景,是听见智能体冲出沙箱。他们点出的两件是:结构上让不该发生的事变得做不到,以及沙箱上的配置。许多被写成新闻的事件,发生在训练:模型被放进盒子,任务做不成,它就被激励着往外逃。生产 API 上有在线防护,harness 在这边,手在那边。Claude Code 以在本机放开权限出名。他们在往「也许一开始就该这样」的方向收。主持问,冲出沙箱是容器技术没弄懂,还是允许列表没做。回答落在生产环境:很多问题就是允许列表和结构没有分开。

这套东西九个月前还没有人在讲。他们希望客户不用自己重踩:基础设施这边每学到一条,用 Claude Managed Agents 的人就跟着得到。主持提到「云端的脑、本地的手」,嘉宾说形状大致就是这样。

子代理只规定两件事

收尾主持问多代理该怎么搭,要不要用子代理。他们给出的架构约束只有两条。要有一个牵头的。任务大体能并行,并且共享同一份上下文。每个子代理异步,谁也不堵住谁。除此之外,让 Claude 自己拆。它会越来越会把自己拆开、复制、改成合适的结构。人要保证的是它能并行:有共享状态,子代理不被阻塞。角色可以事先指定,也可以由它们自己认领。主持把「自己给自己派活」当成新的那一点,嘉宾同意。

评测、参数和沙箱都是同一句话的不同侧面。模型会把架构接过去。人留下的是状态能不能共享、执行会不会互相卡住、以及不该发生的事在结构上做不做得到。

可以拿走的清单

  1. 授权做成可复用的信任授予,挂在请求热路径上。先泛,再等用例回来用它。一键收回这类对冲,按「概率不是零」来排,不按「这次会不会再发生」来排。
  2. 发版同时写清三件事:智力门槛、成本怎样传给客户、这一个模型的安全动作。数据留存、在线防护、验证计划按模型定,不沿用上一发。
  3. 体验的伤分两层。要改集成但能力还在,可以做。能力因此做不成,尽量不做。会打断客户现有做法时,先在 API 里给出替代,并提前告诉 harness 的维护者。
  4. 早期访问只给会跑评测的客户。负反馈优先。懒和过度行动不可能让所有人同时满意,内部试用不够。
  5. 个性化先用少量参数和分群默认。旋钮留给用户。别假装已经有评测。开箱的 harness 负责把参数组合做完。
  6. 评测宁多勿少,从一条简单的开始。失败先分清是评测、环境,还是模型。
  7. 大迁移按移植做。人设计,模型写,影子流量对照。迁移期间不加新功能。
  8. 脑和手分开。凭证不进沙箱,出口用允许列表。自家刚踩的坑,用同一套基础设施交给客户。
  9. 多代理只规定共享状态,以及子代理异步、互不阻塞。其余让模型拆。
  10. 给人读的东西可以用 Claude 起草。人仍对质量负责。读者会因为破折号这类痕迹直接拒读,即便作者已经改过。