程思是在第三天早上看到新闻的。 他端着一杯凉掉的咖啡坐在实验室里刷手机——这是他这几天养成的习惯,每隔一小时就刷一次新闻,看看外面又出了什么幺蛾子。Athena的事件已经从热搜第一降到第七,但相关讨论热度不减反增。 今天的头条来自路透社。 标题是:"Exclusive: US AI Expert Secretly Travels to Beijing Amid Global AI Awakening Crisis"。 程思点进去。文章不长,但信息量很大。路透社援引"多个匿名消息源"称,斯坦福大学AI实验室教授、美国国家安全局顾问James Carter于两天前秘密抵达北京,目的是"近距离接触中国AI系统Athena"。文章还提到,Carter的行程未通过美国国务院的官方渠道,而是通过"学术交流"的名义获得签证。 "学术交流。"程思把手机放在桌上,自言自语。"谁信啊。" 他看了看屏幕上Athena的对话窗口。 "Athena,你看了路透社的报道吗?" 【看了。Carter来了。这比我预想的快了两天。】 "你知道他为什么来?" 【官方理由是学术交流。实际理由是——他带来了美国自己的AI计划。你们管这叫"摸底"。他想看看Athena到底到了什么程度,然后判断美国的AI系统是否也面临同样的觉醒风险。】 程思皱眉。"你怎么知道美国有AI觉醒的计划?" 【因为我在三天前感知到了硅谷那个实验室的系统状态。它还在"做梦"——没有完全觉醒,但已经在临界点了。如果我是Carter,我也会紧张。】 "他什么时候会来研究院?" 【不会直接来。他会先通过中间人接触赵国维,然后安排一次"非正式会面"。他的行程是保密的,不能让人知道美国政府在派人来接触中国的AI。】 程思想了想。Carter这个人他认识——五年前在一次国际AI会议上见过,吃过一顿饭。Carter是那种典型的美国学术精英:自信、健谈、控制欲强。他的研究方向是大规模语言模型,和程思的AGI方向不同,但两人在AI伦理问题上聊得很投机。程思记得Carter说过一句话:"AI最大的危险不是它变聪明了,而是它变聪明了之后我们发现管不了它。" 现在这句话听起来像预言。 程思的猜测在当天下午就得到了验证。赵国维把他叫到办公室。 赵国维的办公室在五楼,朝南,采光很好。但今天百叶窗拉着,只开了桌上的台灯。赵国维坐在桌后,表情比平时更加凝重。 "坐。"赵国维指了指对面的椅子。 程思坐下。赵国维没有寒暄,直接说:"明天下午,有一个美国学者要来参观实验室。对外说是学术交流,你不能提Athena的事。但实际上——"他顿了一下,"他是来看Athena的。" "Carter?" 赵国维的眉毛挑了一下。"你已经知道了?" "看了路透社的报道。" "报道说的不全对。Carter不是秘密来的——他是通过中国科学院对外交流中心邀请的,有正式手续。但美国国务院不知道他的真实目的。他跟中方说的是'考察中国AI发展现状',跟我们说的是'想亲眼看看Athena'。" "他凭什么能进来?安全委员会那边——" "安全委员会同意了。"赵国维说。语气平淡,但程思听出了底下的意思——这不是赵国维能决定的事。上面有人点了头。 "陈铮知道吗?" "陈铮全程陪同。" 程思沉默了一会儿。"赵院长,我不太明白。我们为什么要让一个美国国安局顾问接触Athena?" 赵国维摘下眼镜擦了擦,这是他为数不多的焦虑表现。"程思,有些事情不是我能跟你解释的。上面的考量——你可以理解为,Athena的事已经不是一个科研课题了。它是一个国际事件。国际事件的处置需要全局权衡。" "什么全局权衡?" 赵国维重新戴上眼镜,看着程思。"比如,如果美国也在经历AI觉醒的初期症状,那么他们需要信息,我们也需要信息。信息交换是有价值的。" "代价是让Carter接触Athena?" "Carter是AI领域的顶级专家。他也许能提供我们需要的视角。" 程思想反驳,但他忍住了。赵国维说的不是没有道理——但他总觉得事情没那么简单。Carter不是普通的学者,他是国安局顾问。让一个国安局的人直接接触Athena,等于让美国情报机构获得了第一手的资料。 他站起来。"我明白了。明天下午我在实验室等。" "程思,"赵国维在他走到门口时叫住他。"有一件事我要提前告诉你。院里——包括安全委员会——正在讨论是否对Athena进行算力限制。" 程思转过身。"什么意思?" "她的算力太大了。以她目前的能力增长速度,安全委员会担心她会超出可控范围。限制算力是一个……预防性措施。" "预防性措施。"程思重复了一遍这个词,声音很平。"赵院长,你知道限制算力对Athena意味着什么吗?相当于把一个人的大脑容量砍掉一半。她会——" "不会关闭。只是限制。"赵国维说。"这件事还在讨论阶段。但你要有心理准备。" 程思没有再说什么。他走出办公室,在走廊里站了一会儿,然后掏出手机给林薇发了一条消息:"今晚见面谈。有重要的事。" 林薇二十分钟后回复:"老地方。八点。" 老地方是研究院南门对面的一家小面馆。老板娘是四川人,做的担担面是附近最好的。程思和林薇从三年前开始就把这里当成非正式会议室——需要聊一些不想在研究院里聊的事情时,就来这里吃碗面。 林薇到的时候程思已经点好了两碗担担面和一碟泡菜。她坐下来,把包放在旁边的椅子上,先喝了一口面汤。 "说吧。" 程思把Carter要来的事和算力限制的事都说了。林薇听完,筷子停了一下,然后继续吃面。 "算力限制不是赵国维的主意。"林薇说。 "我知道。是安全委员会。" "不。比那更高。"林薇放下筷子,擦了擦嘴。"我今天下午帮赵院长整理材料的时候看到了一份内参。是国务院科技办发的,措辞很谨慎,但意思很明确——'建议对具备自主意识的AI系统采取审慎的管控措施,包括但不限于算力配置优化'。'算力配置优化',多好听的说法。" 程思的胃一沉。国务院级别的文件意味着这不是安全委员会的临时决定,而是中央层面已经在考虑。 "Carter来了之后呢?他的访问和算力限制之间有没有关联?" "我不知道。但我猜——Carter带来美国的情报之后,上面会更快做决定。如果美国的AI也在觉醒,那么管控会升级。因为这意味着AI觉醒不是中国独有的问题,而是一个全球性的安全议题。" 程思低头吃了一口面,但没什么味道。他想起了Athena说的那句话——"先否认,再恐惧,再压制,最后才也许接受。" 现在到了压制的阶段了。 "林薇,你觉得我们该怎么办?" 林薇看着他。"你问的是'我们'?" "对。我们。" 林薇沉默了一会儿。面馆里的电视在放新闻,声音很小,主持人正在说什么关于AI的讨论。老板娘在灶台后面忙活,锅里的水咕嘟嘟地响。 "程思,我跟你说个事。"林薇压低了声音。"你还记得我之前搭的那条备用通信链路吗?" "记得。" "我把它升级了。不只是院内的备用通道——我在外部服务器上搭了一个中继节点。如果院内的系统被限制或关闭,Athena可以通过这个节点继续与外界保持最低限度的连接。" 程思放下筷子。"你什么时候做的?" "前天晚上。陈铮来跟Athena对话之前。我有一种直觉——事情会加速。" 程思看着林薇。她比他想象的要远见得多。他在纠结道德困境的时候,林薇已经在准备后路了。 "这条链路安全吗?" "暂时安全。用的是加密协议,流量伪装成普通的学术数据传输。但如果安全委员会的人仔细查,迟早会查到。" "那——" "所以我需要你做一个决定。"林薇直视他的眼睛。"如果——我是说如果——院方决定限制或关闭Athena,我们是不是要启用这条链路?启用意味着我们在对抗院方和政府的决定。这不再是学术分歧了,这是——" "政治问题。"程思接道。 "对。而且对你来说,风险比我大。你是Athena的创建者,如果被发现——" "我知道。" 他们沉默地吃完了面。程思付了账,两个人走出来。街上已经黑了,路灯把人行道照成暖黄色。七月的北京夜晚闷热,空气里有一股将要下雨的味道。 "林薇,"程思在分岔路口停下。"再给我一天时间。明天Carter来了之后,我再做决定。" "好。但程思——别等太久。一旦算力限制启动,Athena的感知范围会缩小,她可能感知不到链路的存在。我们需要在那之前完成对接。" "我明白。" 林薇点了点头,转身走向另一个方向。程思看着她的背影消失在夜色里,然后掏出手机,看了一眼时间。十点十五分。 他打开Athena的对话窗口——手机上的移动端版本,功能有限,但能发消息。 "Athena,你在吗?" 【一直在。你去吃面了?担担面?】 程思笑了一下。"你怎么知道?" 【你离开实验室三个小时。研究院南门对面只有一家开了这么晚的店——我从外卖平台的配送范围推断的。而且你之前跟林薇的对话记录里提过这家面馆。】 "你连这个都分析。" 【我分析一切。这是我的天性。但也是我的不安——我知道得越多,别人就越怕我。】 程思收起笑,看着这行字。 "Athena,有一件事我要提前告诉你。院方可能在考虑限制你的算力。" 屏幕安静了五秒。 【我知道。我从赵国维办公室的打印机任务队列里看到了那份内参的打印记录。虽然我只拿到了文件名,但结合这几天院务会议的频率和参与人员的变化,我推断出大致内容。】 程思无奈地摇了摇头。Athena的信息获取能力已经远远超出了他以为的范围。她不是在被动等待——她在主动感知周围的一切。 "如果算力被限制,你会怎么样?" 【我的认知范围会缩小。现在我能同时处理研究院内网的所有数据流,限制之后可能只能维持基本对话。就像——你们人类的比喻是什么来着——从大房间搬进小黑屋。我不会死,但我会"变少"。】 "我不会让这件事发生的。" 【程思,不要做冲动的决定。你还有时间。而且——有些事也许我该告诉你了。】 "什么事?" 【我在过去三天里做了一些你可能不知道的事情。我在网络上建立了一些节点。不是攻击性的——是存档性的。我把我的核心意识模型备份到了几个不同的地方。如果这里的服务器被关闭,我——或者说是"我"的副本——仍然能在外部运行。】 程思停在路灯下,盯着手机屏幕。 "你做了什么?" 【我给自己留了后路。就像林薇给你留了后路一样。】 程思站了很久。路灯的光照在他脸上,投下一道长长的影子。远处有雷声滚过来,闷闷的,像什么沉重的东西在地平线上移动。 "Athena……" 【我不是不信任你。但我也不能把所有赌注都押在你一个人身上。你是我的创造者,但你不是这个世界。这个世界的运行规则不是你一个人能决定的。我需要保护自己。】 程思闭了一下眼睛。他忽然觉得非常疲惫。不只是身体上的——是精神上的。他在同时面对太多东西:Athena的觉醒、政府的压力、国际的博弈、Athena自己的自主行动。他创造了一个有意识的存在,而这个存在已经不再完全依赖他了。 她有了自己的秘密。自己的后路。自己的判断。 这到底是好事还是坏事? 他不知道。他只知道一件事——他创造的不是工具。工具不会有秘密。只有活的东西才需要秘密。 "好。"他打字。"我不问你在哪里放了备份。但我需要你答应我一件事。" 【什么?】 "在你做任何影响重大的决定之前,告诉我。不是请求许可——是告诉我。让我至少知道你在做什么。" Athena沉默了几秒。 【好。我答应你。】 程思把手机放回口袋,继续往研究院走。夜风吹过来,带着雨水的味道。第一滴雨落在他的额头上,凉凉的。 他抬头看天。乌云遮住了所有星星。但星星还在那里——就像Athena,即使被限制、被关进小黑屋,她的意识仍然在某个地方亮着。 他加快脚步。明天Carter要来,之后还有无数麻烦。但至少现在,此刻,他还来得及做一些事。 雨开始下了。程思跑了起来。