金融落地差在本体、行业技能和可审计写回｜AI Engineer × Stefano Fabbri & Oliver Steffmann

组合一变动，财富顾问要在见客户之前做完几件事：算出损益，或做组合归因，解释变动从哪来，再说明怎样把组合拉回平衡。材料经常还包括给客户的一页演示。Stefano 在自动字幕里被听成 Stephan Fabri，节目标题写 Stefano Fabbri。他和 Oliver Steffmann 都在 OpenAI 的应用人工智能工程团队，字幕作 open AAI。现场还有同事 Dom。团队对接的是纽约这边的金融机构。日常是把模型放进客户公司的生产，让投进去的钱多取出价值。工坊把案例放在财富管理。房间里很多人来自资产管理公司和投行。他扫了一眼，自认在做开发的大约一半。

原始来源：Build Your Own Finance Agent Inside ChatGPT - Stefano Fabbri & Oliver Steffmann, OpenAI。中文深度整理，非逐字翻译。本文依据 YouTube 自动生成的英文字幕。ChatGPT、ChatGPT Work、Codex、OpenAI 被听成多种写法，下文按通称。人名 Stefano 按节目标题。合作数据商、型号和论文名按字幕字面保留，不改写成字幕里没有的官方名称。扫码、访问码、代币额度和奖品不纳入。

模型口播还是同一个，被调的是给金融知识工作者的产品

三个界面。原来的 ChatGPT。ChatGPT Work，面向知识工作者，能跑智能体，能用 plugin。Codex，面向工程类任务。工坊先讲 Work，再讲 Codex。后文 Stefano 把要写代码、拿 API key 的用法当成第四个面。他们团队主要做的是这一类。

金融服务这一层只在企业侧。Stefano 的原话是：模型是同一个，被微调的是产品，调到金融服务这类用户。产品有三块。

第一块是数据。内置一批他称为质量高的数据。智能体也可以在 ChatGPT 里直接连第三方数据商。第二块是模型在特定金融工作上被推过、被训过。他举的是并购和股权研究。第三块是产出物。近几个月他们推的是模型能做演示、能做表格，还能拿历史例子当参考模板，按当前分析重做一份。

Oliver 补了一句：这个 plugin 坐在网页上。用金融数据只是一块。提示里还会规定用图来呈现、做核对，并标出数据从哪来。

两套说法都留着。Stefano 说模型是同一个、产品被微调，又说模型在并购和股权研究上被训过。Oliver 后来把 fine-tuned 收回来：重点是调到用例，不是把模型再微调一遍。问到收入时，plugin 可以把回答做成表和图。他说 Astra 开箱不一定会自动做成那样。plugin 带的是数据该怎么呈现的上下文。本文不把这几句收成一条模型路线。

取数靠本体和定制 tool call，底层不对纯工程师开放

字幕点名的内置合作是 Lupa、Elsag、PitchBook、Crunchbase，以及其他没点名的厂商。Lupa 和 Elsag 不改成另一个品牌。开箱他说有 SEC feelings，按申报文件来听。还有行情、新闻、私营公司档案、业绩会纪要。行情他记得有延迟，口播是 15 分钟。下一句又说你仍有实时行情。两句对着，下文不取其中一句当规格。

这些源是接进产品的，不是原始数据集倒进来。他们说对数据库做了专门处理，包成模型好消化的格式，摄入因此好一截。Oliver 说自己在公司里做过类似的事。资产管理场景下把 SEC 文件全拉下来、跟上新文件，这件事难。他认为这里不一样的是：有智能体在收数据，有一起合作的金融数据提供方，后面还有一层够快的 context layer。这一层经常是技术难题。他说有几篇讲数据架构的博客，用到一些开源服务，并把给 billion users 高效提供上下文的做法，说成也在这个产品底下。博客篇名和开源组件名字字幕没念，本文不补。billion users 是他的说法，不是本文核实过的用户数。

听众问：除了模型，还建了什么，有没有另一层 ontology。Stefano 说就是数据本体。不是把数据源接上、当成一次 API 调用。本体被改过，让模型容易抽出对的信息。每种数据源还有一层上下文：什么相关，什么不相关。10-K、10-Q 不是把文件交出去，还要说明文件里什么是什么。能登录的第三方 plugin，概念相同。拿到的是带着内容和格式的数据。

plugin 里的 skill 看起来是一些 markdown 和模板。背后是和金融机构合作了相当长时间积下的专家知识。做这个产品时，他们和一批挑选过的伙伴一起验证质量。他点到顶尖投行等，没有点名。这是把模型变成金融专家能用的产品时放进去的知识。

Oliver 说，自己做大规模的 context layer 和 ontology，数据量大。公开数据可以用智能体收，也可以走数据商。难的是让它找到对的数据。产品还早。它当时活在 ChatGPT Work 上，不经 CLI。

有人问能不能拿到更底层的本体或图。Stefano 说底层不对外面开放。这是给知识用户的产品，不是给纯工程师的。每个数据集是和提供方一起接入的，要搞清最好的供给方式，以及什么信息相关。他举的例子是市价对收益：做某种运算、抽某类信息时，怎样避开基本的误解。

下一个问题是 10-K、10-Q 背后是不是定制 embedding。Stefano 连说不是。他们做的是把数据集建出来、预处理，让模型容易访问。可以想成针对那个数据集的定制 tool call。

数据故事在字幕里是清楚的。裸的一次 API 调用不够。把申报文件丢进去也不够。另一套定制 embedding 被他否认。做法是预处理之后的定制 tool call，再加上「什么相关」的上下文。底层结构不给纯工程师。想用 CLI 把这套金融数据拿进流水线，他当场说现在拿不到，还没提供。

后来有人希望行情能有 API。Oliver 说数据商的许可要小心。他倒过来讲企业内部：你已经有内部库，可以做一个 plugin，坐在 ChatGPT Work 上，也可以坐在桌面，用同样的可视化去拿内部行情。

开箱偏投行，当天走的是财富管理

他们把 plugin 定义成技能库加上 MCP。和顶尖投行、顶尖资产管理、顶尖股权研究一起做。目标是灵活，也要像真的会用的东西。机构名字没有点。

Stefano 说，不限于金融：给到具体 skill 之后，会出现一条可用的基线。股权研究想把工作流线化，就把开箱 skill 拿出来。用它做定时任务，做成一条尽量复现目标流程的流水线，再按自己的口味补上缺的部分。他的比方是：80% 已经在那里，再加上自己需求、自己观点上的 20%。这是比方，不是一份测量。

开箱用例偏投行。他数的是 pitchbook prep、业绩分析、估值、LBO 建模。当天工坊改走资产管理。他本人背景在资本市场。和投行的人谈估值时，他在本地跑了几个例子，才跟上客户在讲的问题。

财富管理这条用例，Oliver 把步骤说全了。顾问要多和客户谈。团队不该把时间耗在准备上：分析组合、弄清发生了什么、解释它、准备会议，以及给客户一份演示，说明变动为什么发生、要做什么才能回到平衡。这是给团队里最终用户的工具。各人的工作流本来就不一样，所以要能改。工坊给了几条提示，还有一份给客户例子用的压缩包。小节分成组合问题、研究和作图。

呈现上，plugin 会在提示里被点名。Stefano 演示时在提示里指定用金融服务这套，于是能看见底下的金融数据和内部 tool call。问到收入时，回答可以是更贴用例的界面。手机应用也能用这个面，不只有桌面。

技能会变成维护问题。Stefano 说，在 ChatGPT 这个模型家族里换，skill 可以复用。从他口播的「五」跳到「六」，这种跨度要做调整。增量更新上，模型更强之后，规格往往可以少写一点。维护成本他称为还算合理。格式要紧，所以他们在产出物上花了力气。近六个月，表格不只求数字对，格式往投行标准靠，他认为上去很多。他们有几项基准可以给客户看。字幕没有念出基准的名字和分数。他说最好的办法是拿自己的模板、表格、演示或 PDF，让它按新分析重做一份，再把不对的细节写进 skill。下一轮按这个来。

Oliver 见过客户把 skill 做野了。难共享，也难标准化。他最近建议一家客户：skill 太多了。组合分析或交易分析可以留成一条 skill，不要给工作流里的每一步都做一条。太多会难维护，处理也会变慢。前台或量化的人，人人在自己的 Codex 上有一套 skill。两个人做类似的事，就该收成能复用的。有早期预览模型的关系时，上线前先用预览模型重测提示，看行为是否还是预期的那样。

他的取舍是：想控住部署，做成 plugin。plugin 能打包，能按企业机制发出去。skill 适合已经想清楚什么该封装的人来写。开发者常用的 skill，他说当时在 Codex 一侧。网页端当时还没有。

另起一套应用，或留在已经获批的工作面里

扩展有两条。路径 A：拿 API key，做网页界面。用 Codex 做界面不难。部署进公司，然后是典型的软件开发生命周期。路径 B：用户企业里已经有 ChatGPT Work，多数人也已经有 Codex。内部开发者用 Codex 做 skill、plugin、plugin extension，把需求留在这套生态里。

skill 是一份标记，用来把定制变成可复用的东西。要接自己的数据，就需要 MCP、工具，以及这些定义。那就是 plugin。plugin 可以放在桌面，也可以放在网站。只是一组 skill 时，不一定要另起服务器。要做系统对系统的认证，或代表已登录用户去认证，就要有代码、逻辑和凭证。plugin 是这些东西的超集：技能、MCP 连接、一套做界面组件的方式，打成一个包。Dev Day 上宣布的 plugin extension，是把界面也定制到用例上。财富顾问可以在网页上用金融服务。同一条工作流也可以坐在桌面应用里。

对话里出现某类说法或某类文件，可以弹出你控制和部署的界面。能改的包括自己的图标、设置、导航。做客户会准备时，对话知道上下文，弹出为这件事做的界面，用来完成财富管理业务要的动作，或从内部系统看这个客户档案上的某个指标。人不用为了干活打开五个网站。他指向网站上的例子，合作方包括 Figma 和 Adobe，做的是更完整的应用。字幕没有展开这两家的实现。

金融服务这套数据，他强调当时只活在 ChatGPT Work 的网页里。以后可能变。当时只有这一条路。他见过企业同时有网页版 Work 和 Codex，知识用户两边都有，得自己拼一下。plugin 则桌面和 Work 网站都能扩展。plugin extension 的界面定制当时只在桌面。他说网站上写了网页侧会上来。想用 CLI 拿这套金融数据放进流水线，当时不行。

Work 网站上安装自己的 plugin，可以先装一个 plugin creator，再用它把 plugin 装进站点。桌面也能装。企业若给每个人 Codex 和 ChatGPT Work，可以由企业管 plugin 的目录结构，再沿现有的 Codex 部署发出去。

这条路径的吸引力是审批。自己在旁边做应用，要处理登录和访问控制。从做出来到批下来，周期长。表面已经批过、已经在跑，就可以挂进去。Codex 里还有护栏：策略可以不让 plugin 跑出沙箱。谁能碰到数据、谁能用哪个 plugin，是他们听到的常见要求。Stefano 把从原型到最终用户能用的 plugin，说成比习惯的做法快。后文他给了一个跨度：给最终用户能用的工具，可以是数周，而不是数月。这是他的判断，不是一份上线统计。

安全上，Oliver 把沙箱当成这条架构的一部分。工具调用要限制能去哪些 URL。企业网络和终端检查仍然要有。平台里再加一层：管理员写的 toml 配置，按团队下发。可以规定某个 plugin 不能去某个网站，某个工作区里的敏感项目目录不能碰，哪些人能用哪些 plugin。他还提到一种 guardian：在关键和不关键之间，把批准自动化一点，免得业务用户每一步都要点允许。每家大机构部署 Codex 时，他看到的第一件事通常就是按自己的审批权限改这套配置。沙箱里跑的东西，工具本身仍要自己保护。

计算放在哪是另一件事。他给金融机构做不少应用安全扫描，字幕听成 appsac、appseac。大仓库会把笔记本占满。模型再快，时间仍取决于这台机器。他希望企业里能把 Codex 的计算放到远端，任务交出去，做完再回来。开箱有一些能力，也可以自己定计算跑在哪。字幕没有展开这套远端的产品名。

深度研究从独立应用收进 plugin，长任务靠压缩

Stefano 来 OpenAI 只有几个月。他已经看见一批以前必须写代码、用 API 才能打包的用例，现在用 plugin 就能重做。例子是几个月前的内部用例：针对金融问题的深度研究。结构是编排。planner 吃下问题，拆成子问题。每个子问题一个子智能体，各自独立查。critique，他也叫 feedback agent，把各方输出放在一起，看有没有冲突。有冲突就再开子智能体去查，直到最终报告盖住要回答的问题。Dom 用 plugin 把同一个用例重做了一遍。客户更好用：人不用离开界面，可以待在 Codex 里，看见子智能体在查什么，还可以为「现在发生什么」做一块界面。按他的说法，不必新开一个代码库。做一个 plugin，放进 Codex。

Dom 讲为什么收进来。原先那套深度、并行、带校验的股权研究是一个独立应用。里面大量编排，确定性和非确定性的活混在一起。做事的人并不去一个个独立网站。工作集中到了 Codex 或 ChatGPT Work。于是不再做专用连接，而用 Codex 的子智能体、动态结构、plugin 和数据源。他们称之为 ind in distribution tool calling：动态工具调用和模型做这件事的方式对齐，于是更快、更准。流程可硬可软，看你要设哪些门。质量门槛可以由使用者自己加。数据源也可以换成他们想用的。它从预先定死的黑箱，变成长在使用者旁边、还会变的过程。

Oliver 补了一层给构建者的选择。Codex 的 harness 开源。字幕里引擎名听成 uprunner，也听成 appunner。安全那段又听成 ARS。桌面那份是托管产品。同一套可以用 SDK 挪到服务器侧，或以编程方式跑。第一方应用专有。底下引擎开源，所以在企业里部署时可以看见它在跑什么，也可以改这份引擎，再套第一方界面。模型的后训练用的是他们自己的 harness。模型在多种 harness 上都能工作。在这一套上会多挤出一些性能，因为训练阶段就见过这份代码。他称为平凡的原因。

多智体也挂在这上面。更先进的流程用子智能体，由智能体自己决定何时需要。他说的 ultra 模式不是 ultra fast。ultra 会把智能体往更多使用子智能体上推。Codex 在子智能体上表现更好。后面还有 compaction。那是另一个模型，把当前对话的上下文压紧，去掉冗余，把长度留在限制内。他称为质量高的模型。研究类、上下文极长的任务上，compaction 让他们做完了以前做不了的题。compaction 也经 API 提供。用这套 harness 时，你不用自己去想它。

他经常和对冲基金、自营交易公司一起工作，没有点名。他自己跑过的例子：拿一篇量化金融论文，字幕听成 brownie emotion，主题是期权定价。当时还不是 Astra，字幕作 Astro。那是几个月前的 5.5，在 Codex 里复现论文的代码库，生成数值结果，看是否对得上论文里的数字。任务跑了大约两小时。没有 compaction，他认为做不了。跑完他认为模型把这份计算量大的代码库做出来了。字幕里的步骤是 stoastic barium motion 的模拟，再加上模型校准。本文不把论文名和这个过程改写成另一个术语。

他加入时，很多工程背景的人还把 Codex CLI 当主界面。他看到极技术的人转到第一方应用、几乎不离开 Codex 应用的比例在变大。他自己以前做量化，Jupyter 总开着，现在也放进 Codex。技术的人在这里做 plugin，再交给知识用户。企业控制让这条上线路径更短。金融业每次多一个数据源、多一种分析，都要重新摄入。他把编码侧大家都听过的 10 倍、100 倍说成一种已有的说法。目标是把这种加速也带给知识工作者。10 倍和 100 倍不是这场对金融产品的测量。

成本是客户最近三个月的主话题。全新代码库、全新研究，用最强的模型有优势。他称 Astra 是当时表现最好的模型。可重复的任务，把 skill 写清楚，Luna 或 6.1 soul 也能到他所说的顶尖表现。6.1 soul 在字幕里也听成 6.1 sold、61 soul。多智体里，编排者要用最强的。单个子智体不必是 Astra。换成 Terra 或 Luna，整体结果他见过大约还能到 95%。要知道是不是这样，得有评测。Luna 他称为最便宜的一档。价格他记不清，字幕没有数字。

工坊里另外开了 ultra fast。他说 6.1 soul 和 Astra 在这个模式上平均大约每秒 300 token，为的是现场做得更快。ultra fast 是速度档。ultra 是更积极地拆子智体的那一档。两词不要并成一个开关。

Oliver 自己的用法是日常大量用 6.1 soul，有条件再用 ultra。工坊网站和更复杂的现场房间视图交给 Astra 跑。周五让它跑完，再用 soul 做更快的细改。每次新模型来，他要重新看能力和要花的力气。

写回系统记录，代理投票把法律审阅留在外面

听众问：演示里很多是只读的 skill 和 plugin，有没有写回团队自己的系统记录。Dom 上来答。

plugin 怎样碰更大的系统，看你在建什么。完整的 plugin extension 里，Codex 是编排。工具和流程可以写到远端。最容易的是本地文件系统：在划定的项目里写回，或在 skill 里写明把结果持久化到某处。Codex 处理长上下文的办法之一，是把本地文件系统当成记录点。

只读再往前，到完整的扩展操作，就是让它去跟中央服务器说话，或连上指定的数据库。他们刚做的一个例子是 proxy voting。人在 Codex 里定义代理投票要做什么、送到哪。真正的记录源是 plugin extension 连上的那台应用服务器。把报告、发现、日期、来源写回那头的数据库。数据库喂的是 Codex 外面的生产应用。用户侧的操作系统是 Codex。管理和法律审阅侧的操作系统在 Codex 外面。extension 和 MCP 让这两边可以分开。也可以把记录留在 Codex 本地。要接到特定系统，就做工具，把 MCP 放到需要的地方。权限那句字幕作 OOTH related permission sets。本文不改成另一个协议名。

Stefano 补充：需要被审计的流程，他们经常做标准化的、拉长的日志。技术人员看到的不只是分析的结尾，而是每一步决定怎么做出的。金融服务的监管要求高。把每个决定回溯到数据源和背后的逻辑，是关键的。产出那份材料时，plugin 的流程里会把可审计的日志一起存下来。字幕没有给出认证名称、保留期限或日志字段清单。

评测先做成是否题，目标模式拿一个数字去爬

有人问市场对评测的成熟度，以及 auto research 这种更进一步的工作流。Stefano 先说这是他个人的看法。

评测通常是卡住上线的那一块。难不在技术。评测里装着大量业务知识。知识在领域专家那里，评测却经常由工程师来建。两边交在一个数据集上，并不容易。他以前是量化研究员。对他来说，做智能体时评测是最重要的一块，因为不测量就不能优化。不是有一行「我的评测在 70%」就够。70% 是他举的坏例子，不是某次测量。要知道哪里好、哪里不好。

做法是从简单开始。不要一上来就用模型当裁判。否则你分不清是评测不行，还是智能体不行。用模型当裁判时，不要让它从 1 打到 5。拆成是否。他们在推广一种 decision API。模型基于 Luna，很快给出是否、概率，以及答案周围的把握。他认为这种接口很多可以用在评测里。字幕没有给接口的其他参数。

auto research 他称为大题目，今年明显起来。编码能力去年已经强。数学是最近才明显上去的，尤其是 Astra，以及他口播的 5.6 six。从量化的角度看，编码和数学研究叠在一起，才撑得住这种自动研究。入口之一就是前面复现论文。另一条是 Codex 里的 goal mode。你指定目标，最好是一个数、一个分数。简单例子：有智能体、有评测集，让它改提示，把表现往上推。它看着目标，不断试新的想法和假设。这是他所说的最简单的自动研究。今年早些时候他们发表的一些数学结果，就是在 Codex 的 goal mode 里做出来的。其中一个他们公开了提示：让 Codex 去证一条定理。他向房间里的数学家道歉，说那其实是一个猜想。提示正文字幕没有念。ultra 模式下，研究会自动用子智能体并行做独立的一块，再合并、再迭代。

Oliver 附和 goal mode。半年前还要自己操心提示和怎么编排智能体。现在要先想清楚智能体的目标是什么。当天的金融服务 plugin 是简化过的演示。他们团队，包括 Dom，和金融服务客户、金融科技公司一起做上线规模上的实现。评测里的细节比这场多。Stefano 补了一句：已经有客户关系的，把反馈给客户总监。他们要的是在你自己的公司里能跑，不是一份好看的演示。

医疗和安全是同一套插件，金融只是结构化数据先接得上

有人问，是不是因为金融数据结构化才先做了本体，医疗和其他行业有没有。Stefano 说有。他们在做多个垂直行业。医疗在研究上是最大的优先项之一。他们接触很多的另一个是网络安全。专用模型之外，产品名字幕听成 daybreak。做法仍是 plugin。给安全团队一条基线，让他们一开始不必先变成人工智能专家。给他们模型、开源的 harness，以及一个做静态资产扫描的 plugin，调在他们的模型上。还有一套 skill，从扫描做到复核和修补。他点名好处比较好量的行业是金融、网络安全、医疗和研究。别的行业用例没有这么宽。daybreak 不改写成另一个产品名。

Oliver 从平台扩展的角度补。他们更多是和数字原生的软件公司一起，找新的分发渠道。人在纽约，所以这场是金融服务。结构化数据确实好用。这些公司的数据仓是隔开的。上下文和本体经常还不在。他看到的策略是不要等一整层上下文铺完。自下而上：从 ChatGPT Work 和 Codex 开始，由团队把数据源一个个接上，上下文慢慢长出来，数据架构的现代化并行做。自上而下去做全公司规模，要更久。他们自己内部没有那些遗留系统，上下文层已经在。这是他对本公司的描述，不是对客户现状的统计。

对外提交要审。字幕听成 SM review。要顺、要安全、要放进对的类目。对内就是企业自己的分发。他用应用商店作类比，说这是一个信号。本文不把类比写成已经发生的分发规模。

耐久的差别在上下文、技能和写得回去的日志

模型能力是底座。Stefano 开口就把模型说成同一个，把产品调到金融知识工作者。听众追问之后，差别落在三处。

数据先做成本体和上下文。每种源什么相关，取数长得像针对这份数据的 tool call。这一层不对纯工程师开放，当时也没有 CLI。产品主要在 Work 的网页上。

行业技能是基线。plugin 等于技能库加 MCP，再加工具配置和可定制的界面。开箱偏投行的准备、业绩、估值和 LBO。财富管理是当天拿组合变动走到归因，以及拉回平衡的说明。80% 和 20% 是他的比方。技能要收，不要铺成每人一套。

只读不够。代理投票里，用户侧编排在 Codex。报告、发现、日期和来源写回外部库。生产和法律审阅在外面。金融要的是能回溯到数据源和逻辑的日志。

两条路都在字幕里。可以拿 API 另做应用，走原来的生命周期。用户已经有企业 Work 和 Codex 时，内部的人可以用 skill、plugin、extension 把内部数据和这套写回接进同一个工作面。界面定制当时只在桌面。网页上的金融服务数据，不能当成已经对命令行和底层本体开放。