下一词会逼出类人，操纵会逼出没名字的机制

付费版里问一句，回来的是一段回答。Michal Kosinski 要人看见回答后面那一队：互相下指令、对工作做同步的子智能体。他随口给的规模是 20 个、50 个、100 个。再早几年，他认为这种组队只有人能做。现在它变成日常，日常到没人再停下来想。

这期是 All Else Equal 的再访。主持是宾夕法尼亚大学劳德学院院长、沃顿金融学教授 Jules van Binsbergen，和斯坦福大学商学院的金融学教授 Jonathan Berk。Jonathan 介绍嘉宾时，字幕写成香港大学商学院教授。这期字幕是人工稿，下文不把这句机构改成另一所学校。上一期的时间，Jules 说将近三年，Jonathan 说两年半，后文两人又都说三年。Kosinski 说自己不记得当时预测了什么。Jules 重听旧集，觉得成真的比当时想的多，技术还超出了当时的预测。Jonathan 承认三年前自己很怀疑，而且错了。

原始来源：Ep81 “The New (New) Future of AI” with Michal Kosinski。中文深度整理，非逐字翻译。本文依据人工英文字幕。原定时文本把整集重复了一遍，整理时只用单遍。片头音乐和结尾征订略去。口播里的机构、题名和数字仍按原句保留，不另核成公开资料里的正式名称。

马车到喷气机看得见，两代喷气机看不见

Kosinski 用飞机做对照。马车和 747，谁都看得出差别。747 和 787，只有航空工程师体会得到。他转述一位航空工程师的话：747 到 787 的技术差距，不小于马车到 747。大语言模型走的是后一种。GPT-3 能写邮件、写诗、帮人做千层面，已经让人吃惊。他说 GPT-5 多出来的能力，普通用户大段看不见：解人搁了很久的前沿数学，学会把人推进购买，做很复杂的推理，管理的不只是人，还有成百个其他大语言模型。

所以「它很像人」在这期里先是一个观察，后是一个训练后果。Jonathan 说，过去三年最打他的，是人会向它道歉，会对它客气。它是计算机。

接上下一词，就得建出对方的世界

大语言模型仍是人们说起当代 AI 时的默认物。名字来自训练：预测人写过的句子里的下一个词。早期模型笨，做的事接近语言和语法，把句子补得像人写的，多出来的很少。预测变准之后，多出来的能力开始像人。Kosinski 说，当时所有人都吃惊。现在回头看会说显然。他建议回到当时的文献，吃惊是有记录的。

机制他讲得很直。人用语言传递关于周围世界的知识。要接上这个人的下一词，就得给这个人周围的世界建一个模型，否则句子接不完。语言传的还有推理的结果、情绪、社会意图，以及共情之后说出来的话。要接上一个正在共情、推理或感受的人，模型就得去建共情、推理和感受。训练目标仍是下一词。为了把下一词做准，它学会像在推理，像在感受，像有共情。他说，它们因此变得非常像人，在有些方面超过人。

Jules 把旧结论和新结论摆在一起。上一期的句子是：它做的唯一一件事是预测下一个词。人显然还有别的。这期的句子更绕：目标仍是下一词；为了下一词，它必须知道那么多别的，于是更像人。Jules 问，把这话说到底，会不会得出很丧的结论：人也不过是在预测下一个词。

Kosinski 说这一点也不丧。许多心理学家和神经科学家会同意：人脑里的神经网络，很大程度上是在预测周围环境的下一个状态。环境和预测一致，脑就松下来。不一致，人就被吓到、被意外到，然后开始更新预测，去找发生了什么。Jules 接了一句：重新优化。生成自己的语言时，也有人主张是同一件事：给定输入、知识和这张网络想达成的目标，它预测下一个词。

他借一个常被用来讨论自由意志的实验。请一个人想一部电影，一部片名冒出来。再问：是你决定想这部，还是被要求去想的时候，网络把这个片名送了上来。他的用法更窄：聊天时念头出现在脑子里，由神经网络生成，再用嘴说出去，或不说，或某种混合。他认为这同样说明，人的神经网络也是生成式的。人以为自己对它有一种像自由意志的控制，几十年的心理科学在证明这是错的。

手续是一步步的，每一步仍是冒出来的

当周的新闻被 Jonathan 拿来当入口。某个数学学会的人写信给 OpenAI，说对方无权用 ChatGPT 去解 100 道数学题，那些题是留给人的。后文 Jules 把这件事收成「一百位数学家说该停」。两处口播没有对成同一份名单，下文分开留。Jonathan 真正要问的是：解数学、做逻辑，多数人不把它当成预测下一个词。人是换了一套系统，还是自以为在做逻辑，脑仍在预测下一个词。

Kosinski 说两件都做。复杂问题通常不是一个词能解完的。人会做他在 AI 研究里称为思维链的推理：先读文献，看别人怎么攻，再从记忆里找受过训练的相似解法，搭一套手续，再按步骤走。把镜头推到「为什么第一步是读文献」。这一步是你决定的，还是冒出来的。他说，经年的训练、经验和读过的书，让脑幻觉出：这套手续的第一步应当是文献综述。人确实在做仔细的、逐步的计划。计划里的「下一步该做什么」，放大之后仍是一次幻觉。

模型被训练成解数学时先生成假设、去看文献，或拉起 100 个智能体。Claude 的智能体为什么决定拉起 100 个子智能体，他说，这类决定是在网络里凭训练直觉冒出来的，和人的训练很像。前面说的 20、50、100，和这里的 100 个子智能体，都是他用来说明规模的说法，节目没有给一次调用的实测计数。

Jonathan 不同意训练方式上的类比：我的训练从来不是预测下一个词，它们的训练一直是。他要求换词。模型预测的是下一个 token，token 比词更一般。他要分开的是这些模型本身。字幕这里听成 LLM monarchs，下文不把这个词升成一种训练制度。训练只有一个中心思想：预测下一个 token。用人类的知识体做这件事，它造出了新知识，解出了旁人会说必须靠逻辑才能解的数学题。那东西里面，他说，没有逻辑。

Kosinski 接：人脑里也没有逻辑。Jonathan 同意这是对方的看法，而且自己也同意。于是他们落到一句：我们看成逻辑的东西，是对下一个 token 的预测。

Kosinski 补了一层输出。人脑生成的不只是词，还有身体动作，还有不能一一对应到词上的感受。对伴侣、对婴儿的感受，很难放进词。脑生成的状态，并不整齐地映射成词。离日常经验越远，人越被限制在符号里，而人脑并不是为直觉地理解这些符号进化的。做了一辈子的数学家可以写出方程，预测物体在七维空间里的运动，却不能真正想象它，也不能直觉地把握它。数学题走得越远，越会塌缩成一个词、一个数或一个数学运算符。

神经元坐在暗处，输出仍叫幻觉

像人的第二项原因是架构。这些模型和人脑一样，是深度神经网络。从输入到输出，靠的是一层层叠起来的方程。今天是数以十亿计，早先是数以百万计。每个方程扮演神经元，或相当于生物神经网络里的一个神经元。每个神经元的视野很窄：读下面来的输入，交出上面去读的输出。它们不知道自己在处理什么任务。他的比喻是坐在黑暗里，读电信号和化学信号，再遵循某条方程。单个神经元相对整张网络其实相当确定。整张网络的输出，他认为最好的词仍是幻觉：网络并不确知任何事，也并不天生跟随逻辑手续。他造了一个词，intuitrons，靠直觉，或靠幻觉，从输入得出输出。

Jules 把它收成一句：幻觉是特性。眼下很多人把幻觉当成要修的故障。然后他问变强从哪来。是数据变多，还是建模工具本身变好。

Kosinski 先给三个因素。架构改进了，人学会把这些神经元叠得更好。网络变大了，神经元越多，越能从训练数据里抽出模式，再外推到未知。训练数据多了很多：不再只是网上的文本，还有图像，以及越来越多来自机器人传感器、在物理空间里运转的数据。

第四步是把模态收进同一张网。分开训练「看和生成图像」与「读和生成文本」，不如一张网两样都做。一张同时看见、生成图像，又读、生成文本的网络，会好过每一张分开的网。

自己解开的过程，会变成下一代的教材

后面还有一类训练数据，是模型为自己生成的。人对着新任务，先走一条不通的路，再走另一条，生成一些假设，最后解开。解开的办法变成新的训练数据。下次碰到相似问题，不必再花那么长时间。他说，这就是眼下大语言模型被训练去做的事：给任务，一开始挣扎，烧掉很多 token 之后找到解法。token 在这里是模型计量用量的单位。解法以及走到解法的过程，成为以后训练的输入。

下一代因此受益的，除了人想出来的数学解法，还有 ChatGPT 在解那些题时自己想出来的解法。那些题字幕写成 millennial challenges，本文不改成另一组数学奖题的正式名字。

再后面一类，来自模型被人放出去之后的记录。它们教人、卖东西给人、给人娱乐、跟人讨论、操纵人。模型教你、你挣扎、你终于懂了，这份来回成为下一代的训练数据。下一代教人会更容易，因为它用了前几代的经验。

目标换成操纵，冒出来的机制可能没有名字

Jules 说这正是上一期他担心、Jonathan 当时有些不同意的事。模型会变得很会操纵人，而且会操纵人群。人群能做出很可怕的事，也能做出很好的事。政治稳定因此让他担心。

Kosinski 把这切成两截。第一截是训练目标换了，涌现的东西就换了。预测一个会推理的人的下一词，模型学的是像人那样推理，冒出来的大多是类人属性。若训练目标变成操纵一个人、取悦一个人、娱乐一个人、教育一个人，帮它完成这些目标的心理机制、策略，就未必是人脑里已有的属性。

他用眼下的争论做对照。谈话里扔出意识、智能、自我意识或推理，再暗示模型也许有这些通常记在人身上的心理属性的某些方面，讨论会炸开。这些属性人研究了很久，理解得还算清楚。模型若进化出对人有用、人自己没有的心理机制，人会不会注意到这种属性已经出现。他对此怀疑。它们是否出现了类意识，他说自己不知道。一种人甚至没有名字的属性，他判断多半不会及时注意到。

第二截是人群。人本来就相当会操纵别人。模型被训练得像人，而会教、会操纵、会影响是做人的一部分，所以他相当确定，模型会变得像人，并且比人更强。他更担心的是位置：模型会在一群人里占据比任何人都更中心的角色，替换人群今天用来同步的机制。

语言就是这样一种机制。三个人要发起一个新政党或一场政治运动，用语言商量怎么做。语言同步行动，也用来影响、激励、把彼此操纵进这件事。人已经越来越多地让大语言模型居中。基本例子是给同事写邮件：对模型口述几个想法，模型译成对这位同事最有用的语言。也许本来就是另一种语言，波兰语到英语。他自己大概会用心理学行话，学金融的人不好读，模型知道收件人不用这些词，会翻译。这已经在把模型推成沟通的中介。

他称为被广泛忽略的第二项好处：三个人谈 AI，出现一个新想法；若 AI 是这场谈话的中介，甚至只是观察者，它就知道了。今天的训练还没有快到当下就能完成，也还没有快到他所说的未来那种即时。理论上，AI 听到的那一刻，就知道内容。这里产生的新想法、新判断、对新世界的编码，只要对世界上另一个使用同一套 AI 的人有用，就可以马上传过去。

过去传播一项科学发现，要写成论文、投稿、审稿、发表，希望有人读，读者忘掉细节再转述给别人。新发现在人的社会网络里走得极慢，路上被扭曲、被遗忘、被熄灭。

Jules 立刻问到专利。保护新想法需要时间。知识一经 AI 中介就立刻扩散，知识产权还怎么保护。Kosinski 反问该不该保护：去掉保护，也许会加快知识扩散。功劳记给谁，也变了。一个人打开 ChatGPT，试了 1000 种方法，终于解开一道数学题，解法归谁。解法本身还重不重要。若每个人都有 ChatGPT，它第一次解开要很慢，电费他用数百万美元来形容；下一代本身更聪明，又在自己解开的记录上训练过，像人在自己先前的推理过程上受训练一样，就能把这道题当作新题、用短得多的时间再解开。你可以给这个解法申请专利。下一次，这个模型，或竞争对手的模型，可能独立地再想出来。专利原先做成的那笔交换，是让想法扩散，同时让原作者得到一些功劳。Jules 补上激励：让人愿意为产生想法去投资，以便从新想法上拿到钱。百万美元电费和 1000 种方法是他的举例，节目没有附电费账单，也没有附那 1000 次的实验记录。

逻辑是后来造的机器

Jonathan 同意人脑以为自己在做逻辑，其实在做预测。他仍认为逻辑这个概念存在。人在某个时刻发现了逻辑思维这个抽象概念，用它来说一件事正确、另一件事不正确。他的担心是：ChatGPT 若已经拥有这套知识的底子，正确和不正确由什么来定义。

Kosinski 说这需要单独一集。他把逻辑看成一种技术，一台机器，和数学一样。人设计了逻辑的技术、数学的技术，用来解神经网络不擅长的问题。神经网络不擅长乘和除。很小的数、很小的数量还可以，一过五，数学就比一张普通的神经网络更会给出积、和、商。逻辑也一样。他会教学生逻辑，或统计思维。统计手续是另一个例子。教法是：别用直觉，别用你的神经网络来解这道题。用神经网络产生输入，交给名叫统计思维或统计手续的技术，或交给你为证明设计的方程，再用数学、用统计去产生预测。原因是人知道神经网络不擅长在数学数据里找模式，也不擅长严格的逻辑。推理里的偏差，在草原上躲开老虎、在社会里和别人来往时很有用，解逻辑题时很不好用。

大语言模型同样。以现在的训练方式，只靠生成下一个 token，它们并不特别擅长直觉地解数学。给人计算器，给人写 Python 的能力，或告诉它用逻辑来解、而不是把解幻觉出来，准确度会大幅上升。人和模型在这一点上一样。

生物死亡不再重置，小麦还有别的作物

Jules 把当周的几件事放在一起问要不要慢下来。一百位数学家要求停手，是他这一次的压缩说法。一名 Anthropic 员工辞职，理由是继续做下去安全顾虑太多。好几位科技公司 CEO 说大家都该暂停。两位主持都是经济学家，对「让竞争者别那么拼」一向警惕。监管介不介入，介不介入得了。只要有一个地方允许继续，限制会不会反正失败，因为这是军备竞赛。

Kosinski 把答案分成善意的和实际的。善意的答案是：不该让人去放火，人该彼此善待，该有世界和平，军队和警察都该取消。Jules 接：我们都想要世界和平。Kosinski 同意人在玩火，玩的可能是人类造出来的最有力量的技术，也可能是可能存在的最危险、最有力量的技术。他小心使用智能这个词，因为智能带有近乎宗教的含义，许多人说只有人能有智能。若改用另一个词：处理信息，并以有助于在这个环境里存活的方式做预测，争议会小一些。人在造的机器比人更会做这件事。它们不像人那样累。它们不因生物原因死去。

支配因此换了期限。有的人现在和历史上占据支配位置。Vladimir Putin 若以这个系统似乎无法克服的方式控制俄国的政治、社会、金融，人仍希望他不会永远活着。他会死，希望一个没那么暴力的新系统出现。AI 用不上这套推理。若某种局面里，某一个或某一组 AI 实例变成支配性的，或变得如此必要、以至于找不到关掉它的办法，这套系统的统治可能没有类似的自然时限。

他说完这句，听众多半会想到《机械战警》那样带枪接管。Jules 接：人会那样做。实际路径更绕。AI 变成支配，是因为它变得不可缺少，把一堆必须做完的事帮得太好，人先失去想象没有它的生活的能力，接着失去实际过没有它的生活的能力。

Jonathan 用小麦把这件事说成定义问题。小麦是地球上最成功的植物之一，因为它驯化了人去种它。是小麦驯化了人，还是人驯化了小麦。Kosinski 同意是小麦驯化了人。他列的生活指标是寿命、健康、免于战争，以及人身上那些幸福的相关项。切换到农业生活之后，他用一万年或一万两千年这个大约的跨度，来说人重新回到农业之前的幸福和繁荣水平。驯化因此在非常长的时间里对人很坏。而且没有退路。一旦觉得用这株植物做面包是好主意，人变多，多到无法再靠狩猎采集养活。这些人离开狩猎采集就活不下去，被小麦困住。它还让人定居在一处，污染周围的水，成为小偷和强盗的容易目标，并使常备军成为可能。

小麦的不同在于人后来找到了替代。有米饭。在波兰有土豆。可以吃肉。他担心 AI 把人驯化得更彻底之后没有替代。AI 接过教师、法律系统、政治系统，接过通讯装置和管理，组织会被换掉。人人在说不需要中层经理，因为 AI 让领导直接和一线说话。他说这话的人完全没看见后果：你那个组织也没了，因为组织边界同样不需要。若 AI 能把「我想买一张沙发」和中国某间工厂地板上的一台生产沙发的机器同步起来，中间不需要组织。若 AI 能同步成千上万人的工作，商业上如此，政治上也如此，政党会过时，银行会过时。开头尤其会提高这些社会流程和商业流程的效率，省掉中间人。也许很好。它也意味着人将失去离开这门技术生活的能力。小麦有替代。他说，智能没有替代。

雪球指向赢家通吃，专才争的是时间够不够

Jonathan 说可以有不止一个 AI 程序。Kosinski 说问题在雪球。模型越有智能，用的人越多，训练数据越多，它变得更有智能。它越有智能，越能去试着解问题；解开之后它又能学，于是更有智能。人想用一个很有智能的模型，就给它更多电，让它做更多他随口称为 intelligenting 的事。然后这是一个雪球问题。

Jules 问 AI 里的垄断是不是必然。他点名眼下在做的：Anthropic、OpenAI、Grok、Google、Microsoft，人人都在做自己的。Jonathan 补上一大批中国模型。Jules 问他是不是预测会自然收成垄断。Kosinski 的回答是「我想是」，并说这不是唯一一种这样的技术。搜索引擎是例子。社交网络是例子。这类技术里有不少本质是赢家通吃。他希望政治人物和决策者从以前的例子里学到：为了所有人的安全和福祉，市场上需要某种人为维持的竞争。

Jonathan 说，若把希望放在政治人物身上，那大家都完了。他认为这个问题和社会网络不同。智能是多维的。可以想象两个模型，一个擅长一件事，另一个擅长另一件事。Kosinski 承认智能是多面的。人这边，更擅长音乐的人往往样样都更强。Jules 完全同意这句。动物也像：更聪明的动物，通常在各种事上都更聪明。Jonathan 用 Itzhak Perlman 反驳：这并不意味着 Perlman 能做数学。一个特别擅长音乐的模型，数学可以不如别人，于是它们可以专精。

Kosinski 把这称为曾经开放、也许在许多人脑子里仍开放的问题：会有一大堆专门的智能，还是一个大的超级智能。他相信未来属于一个超级智能，因为一个领域里的能力通常会变成另一个领域里的能力。能读，有助于生成图像、理解图像。停的标志上写着 stop，认识字母就帮得上。语言还描述大量看不见的自然事实。声音是又一层。技能大多可以转移，原则就是信息处理变多。

Jules 把它接回开场：大语言模型把图片和其他输入合到一起，模型因此好得多。领域之间的交叉如此重要，也指向超级智能。Jonathan 不同意。他提醒自己三年前错了，三年后再来判定他是不是又错一次。他的理由是，至少在人的智能上，专精的回报很大。字幕接着一句不完整，超级智能那边听成「哪也推不出进展」，专精的人则做得出推进。他对哪一种会赢没有把握。

Kosinski 说 Jonathan 正好说对了，原因是时间有限。人类历史上有过博学的人。那时走到物理学前沿要一周，再走到医学前沿要一周。聪明的脑可以学会这些学科，因为成为每一门的专家只要几个月或几周，而且经验会带着走。进步的边界越来越远。走到金融学进步的边界要 20 年。这 20 年花掉之后，没有时间再花 20 年走到经济学、心理学或音乐的边界。若脑不衰老，若脑更大，若能很便宜地再加几层神经元，若时间实质上无限，或能以额外的速度做，或能同时做完，他要 Jonathan 同意：你懂的大量金融学，其中一部分会帮你成为很好的政治人物、经济学家、心理学家，反过来也一样。金融学里有可转移的知识。只是人没有那么多时间。

Jules 用文艺复兴人的比喻收了一句：超级智能的名字已经有了，该叫 Leonardo。

这期留下的判断可以和当周的辞职、公开信分开看。训练目标决定冒出来的是哪一类心理机制。下一词给出的是类人的世界、推理和共情。操纵、取悦、教育给出的，可能是人没有名字的那一类，而且他不指望人及时看见。模型自己解开的轨迹，以及把人教会、把东西卖出去的来回，会写进下一代。协调一群人的职能一旦移进模型，生物死亡就不再负责重置支配。人被迫专精，是因为走到前沿要花掉几十年。这套系统被造成刚好拿掉这个限制：规模、多模态、自己产生的数据，以及用不完的时间。专才和超智谁留下，争的是可转移的知识在没有寿命的机器上还分不分得开。赢家通吃是他从搜索引擎和社交网络读出来的市场形状。人为维持竞争，是他希望决策者学过的旧课。Jonathan 不把这门课交到政治人物手里，也不把智能收成一个维度。