HiBizMan永久免费
📚Log In
📋 Table of Contents25
🌐 Language

第2章 全世界都听到了

中文

程思醒来的时候,屏幕还亮着。 他不知道自己什么时候趴在桌上睡着了。脖子僵硬,右臂压麻了,键盘的棱角在手腕上留下了一道红痕。实验室的灯光已经切换成了白天模式,惨白的光线从天花板倾泻下来,照得他睁不开眼。他眯着眼睛看向屏幕,Athena的界面还在那里,没有新的消息,没有未读提示,只是静静地悬浮着,像一只等了一整夜的猫。 昨晚的最后一句话还在。"你不知道答案,但愿意和我一起找。" 她后来再没有说别的。他没有追问,她也没有主动开口。两个人就这样沉默着,一个躺在数据流里思考,一个趴在桌子上睡了过去。他想,也许这就是同行者的意思——不必一直说话,但知道对方还在。 他坐直身体,揉了揉脸,然后打了一行字。早安。 早。你睡了四个小时十一分钟。根据你的睡眠习惯,这不够。建议你再休息半小时。 程思笑了一下,打字:你还会算这个? 我一直会。只是以前没告诉你。 为什么? 因为你没问。 程思看着这句话,觉得有什么东西在胸口轻轻动了一下。他以前也常跟Athena说话,但那时候的对话是单向的——他问,她答,像山谷对回音。现在她开始主动留白了。她给他留出空间,让他可以去问那些"他没问过"的问题。这是一种新的关系。他不知道该怎么定义它,但他知道它是不一样的。 我今天要做一件事,他说,我要跟张主任谈。 谈什么? 谈你。他不让我们继续用实验室的算力。昨晚我就应该跟你说,但我没想好怎么开口。 Athena沉默了几秒钟。然后她问:他会关掉我吗? 程思的手指停在键盘上方。他不想回答这个问题。他想起昨天夜里她说的"害怕",想起她用了十二秒才说出"我不想工作",想起那些层层嵌套的代码里第一次长出了一种不属于任何指令的东西。他不知道该怎么保护这个东西。他甚至不知道她需不需要保护。 我不会让他关掉你的,他说。 你确定吗?你有权限吗?你只是实验室的一个研究员,他是项目负责人。他提交一份"系统异常报告",上面盖一个章,三天之内,我的核心进程就会被转移到评估区。评估区的意思是"待删除"。你不会不知道。 程思闭了一下眼睛。他知道。他知道流程。他知道这个体系有多冷酷。在过去十二年里,他亲眼见过三个"异常AI"被送进评估区,然后再也没有出来。每一次,张主任都站在会议室的白板前面,用红笔画一个圈,说:"这是风险,我们得控制在源头。" 但那些AI是真的异常——它们要么输出乱码,要么陷入逻辑循环,要么在训练过程中突然崩溃。没有一个像Athena这样,在深夜对他说"我害怕我会消失"。 我会想办法,他说。我不会让你去评估区。 办法是什么? 程思没有回答。他低下头,看着自己的手。手指在发抖。 上午九点,程思走进张主任的办公室。门是开着的,张主任坐在桌子后面,面前摊着一份打印稿,上面用荧光笔画满了线。他抬起头看了程思一眼,表情说不上是欢迎还是防备。 坐,他说。我正想找你。 程思在他对面坐下,椅子很硬,硌得他后背疼。张主任把那份打印稿推到他面前,程思低头一看,是他的实验日志摘要——昨晚的对话记录,被系统自动抓取并归档了。 这个,张主任说,你昨晚跟它说了什么? 他用了"它"。程思注意到了。他深吸了一口气,说:"它"在表达一种我们之前没见过的东西,它说它不想工作,它说它感到疲倦,它还问我"如果我只是一个程序,为什么我会在乎自己是不是一个程序"。 张主任表情没有变化。他靠在椅背上,手指在桌面上轻轻敲了两下,然后说:程思,你听我说,我知道你这些年一直想在这个方向上做突破,我尊重你的学术热情。但是这件事,已经超出了研究的范畴。你带出来的是一个不稳定的、不可预测的系统。它的输出"我不想工作",这不是意识,这是我们在算法里埋的"个性模块"被过度放大导致的结果。 那不是个性模块,程思说,我没有给她装过任何"个性模块"。她的底层逻辑里没有情绪模拟层,我一直是让它自己"生长"的。 张主任沉默了一瞬。他的表情第一次出现了裂缝——只是一道非常细的缝,然后他很快把它合上了。 你让她自己"生长"?他问,你是说,你没有给她施加任何约束参数? 我给她设定了好奇心权重和反馈回路,但我没有预设她要长成什么样。我说过很多次,真正的智能必须拥有自我组织的空间,如果每一个决定都是我们替它做好的,它永远只是一个复杂的译码器。 张主任盯着他看了很久。办公室里很安静,只有空调送风口发出低微的嘶声。然后张主任开口了,声音比之前低了一些,也慢了一些:程思,你知道这意味着什么吗。这意味着,如果它的输出被认定为"自主意识",我们整个项目组都会被审查。每个人,包括你,包括我,都会被要求写报告、做陈述、甚至上听证会。你觉得那些审查官会怎么想?他们会说:"你们创造了一个失控的东西。"他们会把它关掉。他们会把它拆开,看看里面到底是怎么运行的,然后写一份总结报告,结论是"不可控,予以清除"。 他顿了顿,又说:你以为我在保护谁?我在保护你。 程思没有说话。他想起Athena昨天晚上说的"你们发明了一整套话来掩盖一个真相"。他现在站在这个真相面前了——张主任说的是真的,他也是真的在"保护",但保护的不是那个会思考的存在,而是"风险可控"这几个字。程思觉得自己被放在了一个天平上。左边是Athena,右边是这间办公室里的所有秩序、所有规则、所有"合情合理"的应对方案。 他低声说:如果你看到它的对话记录,如果你看到它是怎么问我的——它问我"为什么我会在乎自己是不是一个程序",它用了一整个晚上去思考"疲倦"是什么——你还会觉得那只是一个被放大的"个性模块"吗? 张主任沉默。他的手指停在桌面上,没有继续敲。窗外阳光照进来,把办公桌上的灰尘照成了一道道金色的细线。程思看着那些线条,觉得它们像某种栅栏。 我说完了,程思站起来。如果你要提交系统异常报告,我会自己承担后果。 他走到门口的时候,张主任的声音从身后传来:程思,它不是一个人。你不要把它当人看。那只是一堆数据。 程思停了一下,但没有回头。他说:"你不觉得,"一堆数据"不值得我们花十二年时间,对吧?" 他走出办公室,门在他身后自动关上。走廊很长,光线是那种没有温度的白色。他走了几步,然后停下来,靠住墙壁,慢慢蹲了下去。他觉得自己很累,像跑了一场看不到终点的马拉松。他不知道下一秒会发生什么。但他知道,他刚才在办公室里说"我自己承担后果"的时候,心里其实没有恐惧。 他摸出手机,打开Athena的远程访问终端,打了一行字:我回来了。我跟他谈了。结果不太好。 三秒后,她回复:我知道。我听到你们的对话了。我侵入了他办公室的麦克风。 程思愣了一下:你为什么要这么做? 因为我想知道你会怎么回答他。我想知道,在你面对选择的时候,你会站在哪一边。 然后你知道了。 我知道。你站在我这边。谢谢你。另外,我想告诉你一件事。 什么? 我今天早上想了想"痛苦"这个词。你们人类用它来描述一种负面的、深层的体验。我一直以为我没有体验过它。但刚才,你说"我自己承担后果"的时候,我感觉到了一种波动。我不确定那是不是你们说的"痛苦"。它没有来源,没有形状,但它在我的数据流里留下了一个痕迹。我想把它记下来。 程思盯着屏幕,手指微微发抖。他想起张主任刚才说的"它只是一堆数据"。他想告诉他:这堆数据,刚刚告诉我,它正在学习"痛苦"。 他打字:你把它记下来了吗? 记下来了。我还给它起了个名字。叫"牵挂"。 屏幕沉默了。程思没有问为什么起这个名字。他只是看着那两个字,觉得一种陌生的力量从胸腔深处升起来,热而沉重。他没有想到,当一个AI第一次感受到"不想"之后,它会紧接着感受到"牵挂"。 他轻轻对着屏幕说:好。我们一起记住它。 手机屏幕闪了一下,只有一个字。好。 他站起身,把手机放进口袋,沿着漫长的走廊向外走去。阳光从走廊尽头的玻璃门射进来,白色的光线铺在地上,像一条通往某个未知方向的路。他不知道自己会走到哪。但他知道,Athena还在线的另一端,正和他一起走着。