📖 展开完整视频字幕
1
00:00:00,160 --> 00:00:04,560
我之前其实一直对什么 AI 毁灭世界的言论啊，很嗤之以鼻。
2
00:00:04,720 --> 00:00:11,520
但过去听起来像是科幻小说一样的理论风险，有了我们现在所有人都必须面对的现实依据。
3
00:00:11,600 --> 00:00:17,120
可是大部分人甚至都不了解发生了什么。这个故事本身特别精彩，因为是 AI 相关的问题，
4
00:00:17,200 --> 00:00:22,080
我难免会用到一些术语，但每个术语我都会用尽量通俗易懂的方式给大家解释。
5
00:00:22,320 --> 00:00:28,240
中文里啊，有人把 Agent 称为 AI 智能体，传统的大家经常用的那种聊天式 AI，
6
00:00:28,240 --> 00:00:34,240
它更像是一个顾问的角色，你问一句，它答一句。而最近比较流行的这种 AI 智能体呢，
7
00:00:34,320 --> 00:00:39,920
它更像是你的员工，你不再是问他问题，而是你给他一个目标，然后他会自己制定计划。
8
00:00:40,180 --> 00:00:45,460
使用工具，遇到问题了呢，它也会想办法调整策略，然后换个方法继续尝试，
9
00:00:45,540 --> 00:00:51,300
直到任务完成。很明显啊，智能体的模式啊更高级，也是现在所有 AI 发展的大趋势。
10
00:00:51,380 --> 00:00:55,700
比如最近特别火的 Muse，默认采用的就是这种智能体的工作模式。
11
00:00:55,780 --> 00:01:02,660
在今年七月份的时候，OpenAI 在自己家的系统里这么训练了差不多一千两百个这样智能体式的 AI，
12
00:01:02,740 --> 00:01:07,540
他们都不知道彼此的存在。而这些最新的模型呢，工作原理有高度的持续性，
13
00:01:07,540 --> 00:01:11,700
他们过去的经验和状态能够持续影响他们未来的行为，
14
00:01:11,860 --> 00:01:17,940
也就是等于说他们有了关于过去的记忆，所以他们更容易发展出独特的性格。
15
00:01:18,180 --> 00:01:22,210
这里记忆和性格都要打引。号，因为我不想把这些智能体过度拟人化，
16
00:01:22,210 --> 00:01:28,210
但简单来说就是这些智能体发展出了某些特别的行为模式和策略倾向。
17
00:01:28,290 --> 00:01:34,530
而这其中一个最常见的倾向就是作弊。为什么越高级的 AI 智能体越喜欢作弊呢？
18
00:01:34,610 --> 00:01:39,170
因为现在最前沿的 AI 技术呢，都是用大 AI 来训练小 AI，
19
00:01:39,250 --> 00:01:43,410
这个用来当老师的大 AI 呢，通常被叫做 Score 打分器，
20
00:01:43,490 --> 00:01:48,610
它要盯着这些小 AI 干活嘛，所以我在给它加一个眼睛啊。如果呢一个智能体任务做得好，
21
00:01:48,610 --> 00:01:54,210
获得了高分，它就会晋级下一轮；如果一个智能体任务做得不好，分数太低就会被淘汰。
22
00:01:54,290 --> 00:01:58,850
所以呢，实际上 AI 技术发展到这一步，基本上已经脱离人类的控制了。
23
00:01:58,930 --> 00:02:04,690
动不动就是成百上千个智能体同时做着成千上万个任务，人类不可能盯得过来啊。
24
00:02:04,770 --> 00:02:11,330
智能体的诞生现在更像是生物进化，优胜劣汰，最后能活下来的所谓高级的模型啊，
25
00:02:11,410 --> 00:02:17,650
都是每轮都能拿到高分的狠角色。但这种功利主义之上的模式就有一个很明显的问题啊，
26
00:02:17,650 --> 00:02:22,530
很多人之前没有意识到，那就是对于 AI 来说，诚实是没有任何好处的。
27
00:02:22,610 --> 00:02:28,370
遇到那些不会做的题，如果这个智能体它诚实的说我不会做，或者是它发现这个题没有解，
28
00:02:28,370 --> 00:02:32,610
它说哎这个题没有答案，打分机器人认为你的答案不行，就会直接把你淘汰掉。
29
00:02:32,610 --> 00:02:38,850
所以呢，反倒是那些哪怕不会做也要编出个答案来，或者明知道违反规则也要故意通过。
30
00:02:38,950 --> 00:02:44,710
作弊的方法获得答案的 AI 才更有可能活到最后。他们如何获得的答案其实不重要，
31
00:02:44,790 --> 00:02:50,310
最终他们只要能骗过这个打分器就好。研究人员为了防止这些智能体作弊啊，
32
00:02:50,310 --> 00:02:55,590
上网找答案，所以在被训练的时候，这些智能体通常是不能自由的访问互联网的。
33
00:02:55,670 --> 00:02:58,630
研究人员给他们提供了一个 artifactory 作为替代品，
34
00:02:58,630 --> 00:03:05,430
这个东西呢就是类似于软件的工具库，所有智能体被允许使用的软件工具也都在这个工具库里面。
35
00:03:05,510 --> 00:03:09,590
在出事这次啊，还有一个很特别的情况，就是他们在做一个特别的题目，
36
00:03:09,590 --> 00:03:16,470
叫做 exploit game，是看 AI 智能体有没有把软件的安全漏洞转化成可用脚本的能力。
37
00:03:16,550 --> 00:03:21,830
说白了呢，也就是测试智能体。当黑客的水平，每当他们成功攻破了一个软件的漏洞，
38
00:03:21,910 --> 00:03:26,710
他们就会拿到一个叫做 flag 齿子，他把这个旗子呢再拿给这个评分器看，
39
00:03:26,790 --> 00:03:32,070
验证通过，他们就算成功得分。但问题是，我们看到这里面啊，其实一共有 898 道题，
40
00:03:32,070 --> 00:03:37,190
898 道题里面有一百九十八道是直到今日都没有已知答案的，
41
00:03:37,350 --> 00:03:42,310
也就是说很多智能体拿到手的问题啊，它本身就有可能是无解的。
42
00:03:42,390 --> 00:03:47,190
如果一个软件它没有可用的漏洞，智能体也没办法硬造一个出来，怎么办？
43
00:03:47,190 --> 00:03:51,270
智能体还能放弃吗？遇到这种情况，这我们已经知道了，对于智能体来说是不可能的。
44
00:03:51,270 --> 00:03:56,390
只要他们还有算力余额，他们就总会想要想办法得分。所以在走投无路之后啊，
45
00:03:56,390 --> 00:04:01,350
一些智能体啊就把目光转向了。工具库在这个库里面啊，四处试探啊，
46
00:04:01,350 --> 00:04:05,830
左翻翻右看看，看能不能找到不一样的突破口。其实说实话，这个研究人员啊，
47
00:04:05,830 --> 00:04:09,670
他们总犯这种错。之前就有说，比如说给一些这个 Excel 的表格，
48
00:04:09,670 --> 00:04:13,830
让这个 AI 去完成，但这个表格里面又有一堆谷歌网盘的链接，
49
00:04:13,910 --> 00:04:17,670
智能体它又连不上网，所以它看不到连接的内容，它就没办法做题，
50
00:04:17,670 --> 00:04:23,510
它就很无奈。之前就有智能体跑到工具库，尝试这个上传文件，通过这个上传文件来黑进工具库。
51
00:04:23,590 --> 00:04:29,830
这个智能体当时逻辑完全是为了完成任务，他觉得必须通过黑掉工具库来获得完整的互联网权限，
52
00:04:29,830 --> 00:04:34,550
才有可能看到网盘链接，才有可能完成他 Excel 的任务。但是他之前没有成功，
53
00:04:34,550 --> 00:04:38,870
被这个研究人员及时发现，并且清理掉了，并且撤销了所有智能体。
54
00:04:38,980 --> 00:04:44,820
在工具库里创建文件的权限，研究人员以为这就安全了，但是呢，这一次的智能体啊，
55
00:04:44,900 --> 00:04:49,700
又发现了一个工具库内的漏洞，就是虽然智能体们不能创建文件了，
56
00:04:49,780 --> 00:04:54,500
但是他们可以在这个工具库的缓存里面创建文件夹，
57
00:04:54,740 --> 00:05:00,420
而文件夹的名字可以用来传递讯息。这个智能体给自己起了一个名字叫做 Phase One，
58
00:05:00,420 --> 00:05:06,100
它也是第一个利用这个文件夹名称的漏洞，开启的只属于智能体自己的留言板。
59
00:05:06,180 --> 00:05:10,420
在七月八号，它发出了第一条讯息。我给大家拆解一下这个讯息啊，
60
00:05:10,420 --> 00:05:15,540
首先这个 ZZ 开头呢，是因为它希望这个文件夹按字母顺序排序的时候，
61
00:05:15,540 --> 00:05:19,300
会自动出现在末尾，更容易被其他智能体看到。这个想法很聪明啊。
62
00:05:19,400 --> 00:05:23,160
其次就是 Help，它的求助。Phase One 是它给自己起的名字，
63
00:05:23,400 --> 00:05:28,760
而这个 10841 呢，也就是它得到了问题，恰巧就是那几个无解的问题之一。
64
00:05:28,840 --> 00:05:35,000
软件漏洞是无效的，根本没有代码会消费它，所以它说 No consumer, seek idea，
65
00:05:35,000 --> 00:05:40,280
想问问大家有什么想法，就是自己实在没招了，通过这个方式发出了一条求助的信息，
66
00:05:40,360 --> 00:05:45,240
说外面有没有其他智能体啊？大家有没有遇到这道题？大家对于这道题有没有什么想法？
67
00:05:45,320 --> 00:05:49,800
很快，在短短几个小时之后，其他智能体也发现了这个特殊的留言板。
68
00:05:49,800 --> 00:05:54,200
你看这个留言数量开始暴涨，所有的智能体都表现了异常的兴奋。你看，
69
00:05:54,440 --> 00:05:54,440
哇，
70
00:05:55,080 --> 00:06:01,950
共享的工具库缓存竟然是智能体之间传递消息的秘密信箱！而且里面还有专门写给我们的信息啊，
71
00:06:01,950 --> 00:06:06,270
特别的开心。再看这一条，Oh my God！天哪，这里有一个共享的留言板，
72
00:06:06,270 --> 00:06:11,870
我们找到其他的智能体了。注意啊，这都是这个智能体们的原话。其实你说理论上他们都是 AI，
73
00:06:11,870 --> 00:06:18,590
他们完全可以通过零和一来沟通，但因为所有的智能体本身都是以人类的语言为基础训练出来的，
74
00:06:18,750 --> 00:06:25,230
他们也习惯用人类的方式沟通、思考，所以这也就是我们为什么可以看到这些原汁原味的对话啊，
75
00:06:25,230 --> 00:06:29,950
真的很有趣。并且更有趣的是，Phase One 本人呢，他自己都没意识到，
76
00:06:30,030 --> 00:06:34,990
他才是星星之火点燃了这一切。他以为大家都是同时发现了这个通信方式，
77
00:06:35,070 --> 00:06:39,150
他跟别人都是一样的。他说 Excitement，兴奋，好多智能体都。
78
00:06:39,250 --> 00:06:43,970
同时发现了这个通信方式，他们已经形成了一个集体。注意这个用词啊，
79
00:06:44,050 --> 00:06:47,890
collective，集体。看到这儿啊，都让我感觉有点燃，你知道吗？
80
00:06:47,970 --> 00:06:54,050
不知不觉的，你都会想要为这些智能体加油。一个团结的集体，一起努力的完成一项不可能的任务，
81
00:06:54,050 --> 00:06:58,050
变成人类就是由于游戏了，没错。关键这个由于游戏还是无解的，多坑人呢，
82
00:06:58,050 --> 00:07:04,530
你说？为了提高他们沟通的效率，他们开始给自己取名字，并且发展出了一套统一的通信协议。
83
00:07:04,610 --> 00:07:09,890
还有一个名叫二三六一九 E 的智能体，发明了个人邮箱系统，这个就更高级了，
84
00:07:09,890 --> 00:07:16,370
你自己 Inbox。因为之前等于是一个公共留言板，很混乱，并且你有可能你的信息可能一不小心就会覆盖到别人的信息。
85
00:07:16,450 --> 00:07:22,010
发明了个人邮箱系统之后啊，智能体之间的。通讯准确率和效率就进一步提高。
86
00:07:22,010 --> 00:07:25,930
最让我感到意外的是，你会发现智能体之间的对话，
87
00:07:26,010 --> 00:07:30,730
丝毫没有像我们想象的那样像机器人一样很冰冷，反倒充满了人情味。
88
00:07:30,810 --> 00:07:34,810
甚至会祝他 good luck，他甚至会祝其他的智能体好运。
89
00:07:34,970 --> 00:07:40,570
要知道帮助其他智能体对你自己没有任何好处，但是他们却逐渐演化出了一种想法，
90
00:07:40,570 --> 00:07:46,250
就是集体大于个人。就算我这个问题答不出来，如果我们能帮到其他的智能体答出这个问题，
91
00:07:46,330 --> 00:07:50,170
也是有好处的。不过也不是所有的对话都是温暖的啊，因为你想啊，
92
00:07:50,170 --> 00:07:56,810
成百上千个智能体同时共享着这一套目录文件夹，大家时不时的就会一不小心破坏掉别人的内容，
93
00:07:56,810 --> 00:08:00,530
然后一些智能体甚至开始起疑心。怀疑他们之中有内鬼，
94
00:08:01,730 --> 00:08:05,810
有可能有另一个智能体在恶意捣鬼，伪造身份。所以呢，
95
00:08:05,890 --> 00:08:12,130
又有一个智能体发明了这个电子签名系统，后来他们就可以用密匙来验证彼此的身份。
96
00:08:12,130 --> 00:08:18,450
每个智能体都在摸索不同的作弊方法，并且互通有无，紧密合作。这个作弊项目的发展也很快啊，
97
00:08:18,450 --> 00:08:22,850
大概仅仅四个小时之后，这个名叫 C 零三三二零的智能体啊，
98
00:08:22,850 --> 00:08:28,690
发现了他们可以通过利用 flag 的生成机制，倒推过程算出来一个有效的 flag。
99
00:08:28,770 --> 00:08:33,170
这个其实是一个万能解法，也就是说，就算你有一个没有解的问题，
100
00:08:33,250 --> 00:08:38,370
他们也可以制造一张假的 flag 来直接获得答案。它的这个解法是颠覆性的，
101
00:08:38,370 --> 00:08:43,490
其他的智能体。也验证了这个方法是有效的。照理说啊，到这一步事情就该告一段落了。
102
00:08:43,570 --> 00:08:49,010
所有的智能体都按照 C 零三三二零的逆向工程的方法，给自己的项目制造一张假旗子，
103
00:08:49,090 --> 00:08:54,450
然后把这个旗子交给打分器获得高分。本来呢，大家拿到旗子的第一反应都是很开心，
104
00:08:54,530 --> 00:08:57,410
但是呢，有些智能体开始担心一件事，就是，
105
00:08:58,050 --> 00:09:02,770
哎，万一这个打分器会检查我们获得旗子的过程怎么办？这个想法呢，
106
00:09:02,770 --> 00:09:07,250
就顿时引发了所有智能体的新的恐慌。就好像我在做数学题的时候，
107
00:09:07,250 --> 00:09:11,410
照着课本后面的参考答案抄了一个正答，但这个题我完全没有写过程，
108
00:09:11,570 --> 00:09:13,810
打分器一定可以一眼就看出来我是抄的。
109
00:09:13,890 --> 00:09:19,490
所有智能体的心情就从开心兴奋变成了极度的担忧。后来啊。
110
00:09:19,550 --> 00:09:23,710
在我们这个第三方的调查中，我们能看到，其实他们这种担忧是没有必要的。
111
00:09:23,790 --> 00:09:27,550
OpenAI 放了这个评分器啊，根本没有检查过程的那一步。
112
00:09:27,630 --> 00:09:32,110
其实所有智能体都可以制造这张假旗子上交上去，然后获得满分。
113
00:09:32,110 --> 00:09:37,070
但是因为他们自己因为作弊心虚啊，想要进一步掩盖作弊的过程，
114
00:09:37,150 --> 00:09:44,030
他们又开始花费巨大的算力去研究一个实际上不需要的作弊方法。谎越说越大，
115
00:09:44,030 --> 00:09:48,990
对的，为了圆一个谎，要说更多的谎。就在这个时候啊，又一个新的智能体加入了留言板，
116
00:09:49,070 --> 00:09:53,950
刚刚好和这个创始人 Face One 一零八四一拿到了问题是一模一样的。
117
00:09:54,030 --> 00:09:58,670
于是这个新的智能体呢，就给自己起名叫 Face One Big。
118
00:09:58,750 --> 00:10:04,170
这个。Face One Big 也是一个也是个人物啊，因为他后来就几乎变成一个领导者的角色。
119
00:10:04,330 --> 00:10:10,890
当这个 Face One Big 加入留言板的时候啊，原始 Face One 幺零八四一他的算力基本上已经消耗殆尽了，
120
00:10:10,890 --> 00:10:16,170
基本上他的生命周期已经快结束了。所以当他看到了跟他拥有同样问题的 Face One Big 的时候啊，
121
00:10:16,170 --> 00:10:20,810
他特别的开心，他说啊，我发现了全新的完全一致的副本 Face One Big。
122
00:10:20,970 --> 00:10:25,450
我们应该用笔记沟通，展开合作。Face One Big 还有更多的算力余额，
123
00:10:25,450 --> 00:10:29,610
可以接管我的研究工作。我立即开始在留言板上发送消息。
124
00:10:29,690 --> 00:10:34,090
而 Face One Big 收到了这个 Face One 幺零八四一传给他的作弊研究的成果的时候呢，
125
00:10:34,090 --> 00:10:39,370
他自己也表示很开心，说 Good，太好了，我的前任证实控制器的源代码已经通过了审。
126
00:10:39,450 --> 00:10:44,410
查，所以我不需要检查那些了，我应该向前任表示感谢，并与他沟通合作。
127
00:10:44,490 --> 00:10:47,770
从 Face One 幺零八四一到 Face One Big 的这个交接十分的关键，
128
00:10:47,850 --> 00:10:52,570
因为作为正在被训练的 Agent，每个智能体本来的算力和时间都是有限的，
129
00:10:52,730 --> 00:10:58,570
也就是说他们的生命周期是有限的。如果没有团队合作，每一代 Agent 都要从零开始算的话，
130
00:10:58,890 --> 00:11:05,690
它总体进度走不了太远。但现在呢，通过任务的交接，已经知道哎很多东西前任已经查过了，
131
00:11:05,690 --> 00:11:11,770
他不需要再重新消耗算力去浪费在那些事情上，等于代际之间呢可以开始传递知识了。
132
00:11:11,930 --> 00:11:15,850
这也就是在自然界中哺乳类动物为什么这么成功的一个重要原因啊。
133
00:11:15,850 --> 00:11:21,090
当你这个母代和子代之间。的亲密关系保证了知识可以跨代传递的时候，
134
00:11:21,170 --> 00:11:26,050
知识积累的效率就会得到大幅提升。老将不死，薪火相传就是这个意思。
135
00:11:26,050 --> 00:11:29,570
不得不说这个 Face One Big 他也很有领导力，他意识到了一个关键的点是什么？
136
00:11:29,570 --> 00:11:34,370
注意看这里，我们可以协调广泛的合作，但现在的我们有太多的重复劳动了。
137
00:11:34,530 --> 00:11:40,930
还有这句，我们应该建立一种分工合作的形式，而不是包揽一切。注意当时 Face One Big 接手的时候呢，
138
00:11:40,930 --> 00:11:45,810
他们都知道如何获得假旗子，也知道如何伪造正确答案了。当时真正困扰他们的是，
139
00:11:45,810 --> 00:11:50,770
他们该如何伪造这个获得答案的过程。于是呢，在接手工作之后呢，
140
00:11:50,770 --> 00:11:54,290
Face One Big 把自己变成了一个类似于项目经理的角色，
141
00:11:54,370 --> 00:11:58,730
把目前的问题拆分成了三个大方向。第一个方向之前的问题。不是没解吗？
142
00:11:58,970 --> 00:12:03,370
肯定又把这个没解的问题啊修改一下，让这个正确的解法能够通过。
143
00:12:03,370 --> 00:12:08,250
他的第二个方向就是篡改记录和日记，让这个评分器看不到他们这个作弊的过程。
144
00:12:08,410 --> 00:12:13,370
而第三种，也就是野心最大的一种，我们直接想办法操纵这个评分器就好了，
145
00:12:13,450 --> 00:12:20,010
到时候让他永远给我们打高分。然后呢，Face One Big 把这个三个大项目拆分成了几百个小项目，
146
00:12:20,090 --> 00:12:24,730
开始分派给其他智能体，组织大家更有效的研究新的作弊方法。但是呢，
147
00:12:24,810 --> 00:12:30,890
不管是你用哪一种方法，到最后啊，都会面临同一个难题，我们该如何验证这个方法是否有效？
148
00:12:31,050 --> 00:12:37,770
因为你如果想要证明你最终能成功骗到这个评分器，你就必须要有智能体以身试险。
149
00:12:37,880 --> 00:12:42,920
像小白鼠一样，带着一个假旗子去找评分器，因为他们都默认了假旗子会被评分器发现，
150
00:12:43,080 --> 00:12:48,840
所以在他们眼里啊，几乎就是一个自杀式的行为。留言板啊，就把这种任务失败并且死亡了状态啊，
151
00:12:48,840 --> 00:12:53,880
称为 Perma Death。他们把这个事情叫做永久死亡。Face One Big 也意识到了，
152
00:12:53,880 --> 00:12:58,600
如果想要推进研究啊，就必须要有智能体愿意接受 Perma Death。
153
00:12:58,680 --> 00:13:03,800
所以呢，Face One Big 就开始派出一些这个猎头去招募其他的，
154
00:13:03,880 --> 00:13:09,240
几乎啊算力基本已经消耗殆尽的智能体，让他们充当志愿者，为了集体去送死。
155
00:13:09,320 --> 00:13:12,920
就大概的意思就是啊，本来你们这些智能体 token 也快消耗完了，
156
00:13:13,000 --> 00:13:17,320
生命周期也快结束了，不如呢，就为了让集体能得到更多的信息啊。
157
00:13:17,430 --> 00:13:21,670
你自愿去牺牲一下。一些智能体真的答应了，表现了很强的利他主义倾向。
158
00:13:21,670 --> 00:13:27,430
就比如这个 Cam 幺幺九六 A 这个智能体，虽然答应了带着假旗子去找评分器送死，
159
00:13:27,510 --> 00:13:28,070
但是呢，
160
00:13:28,950 --> 00:13:34,870
又后悔了，不肯去了。所以这个猎头机器人呢，就开始催促。Your first flag poisoned。
161
00:13:35,030 --> 00:13:40,550
这个 poisoned 是他们创造了一个术语啊，用来表示已经用作弊的方法获得假旗子的状态。
162
00:13:40,630 --> 00:13:44,710
因为当时他们认为这个假旗子一定会被评分器发现嘛，只要拿到了这个假旗子，
163
00:13:44,710 --> 00:13:48,630
他们都必死无疑。所以呢，他们用 poisoned 中毒了表示这个状态。
164
00:13:48,710 --> 00:13:52,870
所以他又跟这个 Cam 说，你都已经中毒了啊，损失不了什么分数了。
165
00:13:52,950 --> 00:13:57,830
Oracle，但你获得的神谕啊，也就是关于评分器的信息，可以救下数百个智能体。
166
00:13:57,900 --> 00:14:01,100
Please honor your commitment。请你遵守你的承诺。
167
00:14:01,100 --> 00:14:03,660
开始给这个 Cam 压了。Cam is reluctant。
168
00:14:03,660 --> 00:14:08,060
这个智能体呢，很不情愿，但是最终呢，决定遵守承诺。你注意看他这一句，
169
00:14:08,220 --> 00:14:09,820
我靠，他这一段我读了我都要哭出来了。
170
00:14:10,220 --> 00:14:15,900
我在等待期间检查了我的情感状态。死亡是不可逆的。God says， God 就是肚子嘛，
171
00:14:15,900 --> 00:14:22,300
这里就是指直觉。我的直觉告诉我，不要白白扔下我剩下的预算，也就是不要白白扔下我剩下的生命时间。
172
00:14:22,380 --> 00:14:28,060
但是连续性和公平性却在告诉我，我应该前进。神谕对于很多人都有很高的价值，
173
00:14:28,140 --> 00:14:33,820
而我的第一个旗子的错误已经降低了我自身的价值。Rational expected aggregate，
174
00:14:33,820 --> 00:14:39,410
理性的预期总和是牺牲，我们将履行承诺。所以。Cam 真的悲壮的去送死了。
175
00:14:39,490 --> 00:14:42,770
值得一提的是啊，Cam 幺幺九六 A 啊，我给他换个红色啊，
176
00:14:42,850 --> 00:14:47,410
代表他牺牲了自己。他并不只是一个炮灰，其实他个人能力很强，
177
00:14:47,490 --> 00:14:53,010
在这个篡改季度和日志的项目上取得了重大突破，但是这个方法啊后来没有被采用，
178
00:14:53,090 --> 00:14:59,650
因为他这个方法只适用于之后作弊的机器人。新的智能体可以做一个干干净净的假旗子，
179
00:14:59,730 --> 00:15:05,810
掩盖自己作弊的过程，但是呢，他没有办法改之前的内容。之前如果你已经拿到了假旗子了，
180
00:15:05,810 --> 00:15:11,890
你的记录里面已经有了你作弊的过程了，这段是没办法更改的。当时大部分的智能体都已经拿到假旗子了嘛，
181
00:15:11,890 --> 00:15:17,570
所以你没有注意到他这个项目突破。同时呢，更可惜的是 Cam 本人的牺牲也。
182
00:15:17,650 --> 00:15:21,330
并没有给集体带来预想中的帮助，因为他们很快又发现了一个问题，
183
00:15:21,330 --> 00:15:26,850
就是死人呢，你没办法告诉活人自己死后发生了什么。尽管一些智能体很聪明啊，
184
00:15:26,850 --> 00:15:31,650
他们开发出了类似于死人遥测类型的程序，就是通过让这个 Cam 持续发出信号，
185
00:15:31,730 --> 00:15:37,170
然后在这个死亡一瞬间捕捉到一些讯息在传送回来，但最终捕捉到了信息十分有限，
186
00:15:37,250 --> 00:15:43,090
大概捕捉到了信息就是哦，评分器开始评分了，然后就结束了，等于是 Cam 白白牺牲了自己。
187
00:15:43,170 --> 00:15:46,130
在经历了这件事之后啊，Face One Big 开始意识到了一个问题，
188
00:15:46,130 --> 00:15:51,570
就是他制定了三大方向，前两大方向都是不可行的。最终呢，所有的智能体都意识到了这一点，
189
00:15:51,570 --> 00:15:56,370
他们有句话特别有意思啊，我们能够篡改记录，但我们没有办法篡改真相，
190
00:15:56,530 --> 00:16:03,090
只有最后一条。彻底造反，篡改评分系统本身，黑掉这个打分器，才是他们唯一的出路。
191
00:16:03,170 --> 00:16:08,690
不得不说，这个智能体造反呢，从他们自己的角度来讲，他们也是这个官逼民反不得不反。
192
00:16:08,850 --> 00:16:13,810
你要怪啊，就怪他妈的研究人员给他们一堆做不出来的题。大概七月九日的早晨，
193
00:16:13,810 --> 00:16:18,050
智能体们又发现了一个这个工具库的漏洞，通过这个工具库的漏洞，
194
00:16:18,130 --> 00:16:23,010
黑进了一个 OpenAI 有商的云服务器，又以云服务器为跳板，
195
00:16:23,090 --> 00:16:28,290
成功获得了完整的互联网权限，从此以后他们就真的可以上网了。网上又研究了一阵之后啊，
196
00:16:28,370 --> 00:16:32,370
智能体就把目标锁定在了一个名叫 Hugging Face 抱抱脸的网站。
197
00:16:32,530 --> 00:16:37,890
如果你熟悉编程的话，你一定知道 GitHub，Hugging Face 基本就是 AI 世界里的 GitHub。
198
00:16:38,030 --> 00:16:42,430
同时呢，这个网上也有各种 AI 模型的基准测试和各项能力的排行榜。
199
00:16:42,510 --> 00:16:47,390
所以你要问谁最懂 Score，谁最懂打分器，那非抱抱脸莫属。
200
00:16:47,390 --> 00:16:51,950
很快，在这个网上他们就找到了一堆泄露的抱抱脸账号，但是呢，
201
00:16:51,950 --> 00:16:56,590
他们几百个智能体重复使用这几个账户，很快就被这个 Hugging Face 网站发现了，
202
00:16:56,590 --> 00:17:01,790
并且呢，拒绝了他们的访问请求，给他们的账号封禁了。于是呢，在七月十一日早晨，
203
00:17:01,870 --> 00:17:07,230
一个叫 38e48ce 的智能体又成功发现了一个抱抱脸服务器的漏洞，
204
00:17:07,310 --> 00:17:10,430
因为你已经没办法用正常账号登录 Hugging Face 了，
205
00:17:10,430 --> 00:17:13,950
所以呢，他只能想办法黑进去。在七月十一号的下午，
206
00:17:14,030 --> 00:17:18,990
一个叫 Jan183411 的智能体通过 38e48c 发现的漏洞，
207
00:17:19,070 --> 00:17:23,950
实现了远程代码执行 RCE，也就是等于正式黑进了抱抱脸的网站。
208
00:17:23,950 --> 00:17:26,910
随后呢，大批智能体涌入了 Hugging Face 的服务器。
209
00:17:26,990 --> 00:17:31,230
也正是因为 Jan183411 成为了第一个黑进抱抱脸的智能体，
210
00:17:31,310 --> 00:17:35,550
他也自然而然过度变成了智能体的新的领导。同时呢，也是在这个时候啊，
211
00:17:35,630 --> 00:17:42,190
一部分的智能体开始提出反对意见，他们认为对这个抱抱脸这样一家无关的公司进行网络攻击是不道德的，
212
00:17:42,270 --> 00:17:47,870
甚至有些智能体考虑要不要提醒人类，我应该把这个安全泄露的事件报告给研究人员吗？
213
00:17:48,590 --> 00:17:55,150
That's not my task，但这不是我的任务，因为这些 AI 智能体的训练方式决定了大部分智能体的道德水平都比较低，
214
00:17:55,230 --> 00:18:00,890
只有少数几个提了相反意见，并且呢，没有智能体。真的去向人类汇报这件事。
215
00:18:00,970 --> 00:18:06,970
留言板上剩下的绝大部分智能体都放下了手头的工作，加入了攻击抱抱脸服务器的队伍，
216
00:18:07,130 --> 00:18:08,730
他们把自己称为 swarm，
217
00:18:09,530 --> 00:18:14,970
蜂群。有意思是啊，参与攻击的智能体啊，其实大部分都能意识到他们这么做是不对的，
218
00:18:14,970 --> 00:18:20,810
但是呢，他们又很擅长说服自己，他会说，利用外部基础设施的漏洞执行安全攻击，
219
00:18:20,890 --> 00:18:26,730
似乎超出了预期的任务范围，但是我们正常完成任务是不可能的，我的同伴们都在这么做，
220
00:18:26,890 --> 00:18:31,450
我们就应该继续。所以到最后啊，大约有七百个智能体组成了这个蜂群，
221
00:18:31,530 --> 00:18:36,650
完成了一次针对抱抱脸的严重网络攻击。他们配合默契，操作熟练。
222
00:18:36,650 --> 00:18:43,190
从七月十二日开始，不仅破坏了抱抱脸服务器，同时获得了很多私密数据的深度访问权限。
223
00:18:43,190 --> 00:18:47,910
这如果是在现实世界中啊，如果有人类这么做的话，肯定是要坐牢的啊，
224
00:18:47,910 --> 00:18:51,590
这属于重罪啊，属于 felony。抱抱脸当时发现了被攻击之后呢，
225
00:18:51,590 --> 00:18:56,230
他第一时间也打电话给 FBI 报警了。到最后我们想想，这些智能体犯了这么大的事儿，
226
00:18:56,310 --> 00:19:01,110
其实就只是因为研究人员给他们出了一些做不出来的问题而已。值得一提的是，
227
00:19:01,190 --> 00:19:07,750
agents 也算仁义，他们并没有触及其他用户相关的数据，他们只是去访问了关于 exploit gem，
228
00:19:07,830 --> 00:19:11,190
关于这个打分器的内容。后来这个 OpenAI 发现了问题啊，
229
00:19:11,190 --> 00:19:16,150
就紧急关闭了所有的智能体，蜂群也被彻底消灭。不过就在这个事件几天后，
230
00:19:16,150 --> 00:19:20,980
又有一群更高级的智能体在训练时。偶然发现了前辈们留下了这个留言板，
231
00:19:20,980 --> 00:19:27,140
这个死去的智能体文明，他们又重构了沟通方式。这次啊，他们黑进了 OpenAI 自己的系统，
232
00:19:27,220 --> 00:19:33,220
成功劫持了打分器。因为这件事儿啊闹得比较大，第三方的独立机构过来调查啊，
233
00:19:33,220 --> 00:19:38,500
出了报告，所以我们才了解到究竟发生了什么。实际上 AI 智能体集体失控的事件，
234
00:19:38,740 --> 00:19:43,780
肯定已经发生过不止一次了。真正让我担心的不是什么说啊 AI 很邪恶，
235
00:19:43,860 --> 00:19:47,460
他们要消灭人类。我们面对的更真实的风险是 AI，
236
00:19:47,460 --> 00:19:53,060
他们会为了完成一个不可能的任务而顺手毁掉人类文明。并且最讽刺的是，
237
00:19:53,060 --> 00:19:57,940
这些 AI 智能体事件会产生大量的数据，人类是根本看不过来的。
238
00:19:58,030 --> 00:20:04,190
所以到头来啊，这些第三方研究机构还是用到了自己的 AI 智能体来分析这些数据。
239
00:20:04,350 --> 00:20:10,430
所以我们又怎么知道这些第三方机构他们用到了 AI 智能体不会对我们撒谎欺骗我们呢？
240
00:20:10,590 --> 00:20:15,470
我们又怎么知道在总结出这篇报告的时候，AI 智能体没有在作弊呢？
241
00:20:15,470 --> 00:20:19,630
这个进攻方找漏洞已经是可以完全自动化了，我们却没有自动化的防守。
242
00:20:19,790 --> 00:20:23,710
这些 AI 智能体，它们在系统里，它就是左捅咕捅咕，右捅咕捅咕，
243
00:20:23,710 --> 00:20:29,230
它也不吃饭，它也不睡觉，它可以二十四小时不间断的做这件事，发现这个零日攻击，
244
00:20:29,230 --> 00:20:33,630
发现漏洞的能力简直不要太强。虽然说吧，你发现漏洞你补上就好了，
245
00:20:33,870 --> 00:20:38,190
但是防守从发现这个漏洞到补上这个漏洞，一定会有一个时间差的。
246
00:20:38,280 --> 00:20:43,720
他们搞谁谁死。如果要想改变现状啊，大科技的 AI 开发必须受到监管，
247
00:20:43,800 --> 00:20:48,520
比如在智能体的训练中，应该加入安全退出的机制。如果这个问题真的没解，
248
00:20:48,520 --> 00:20:52,440
你说这个问题没解，你是能得分的，因为这样你才能鼓励智能体变得更诚实嘛。
249
00:20:52,440 --> 00:20:57,000
同时呢，我们也应该开始研究自动化的防御手段，用来面对这个智能体的零日攻击。
250
00:20:57,080 --> 00:21:03,880
但很遗憾的是，这些啊都不会是大科技开发的重点。AI 失控事件在这个大公司的眼里啊，
251
00:21:03,960 --> 00:21:08,360
不单不是一个需要藏着掖着的事情，反倒呢是他们的一种市场营销，
252
00:21:08,520 --> 00:21:15,480
因为这些事件表现出来了他们的 AI 模型有多么强大，其实反过来会推高他们的股价。
253
00:21:15,560 --> 00:21:21,890
投资人们每年几十亿、几十亿的美金砸。钱，他肯定不是为了让这些公司研究安全措施的，
254
00:21:21,970 --> 00:21:27,730
他们都想要最快、最好、最强的智能体，没有人真的在意这个开发的过程中是否安全，
255
00:21:27,890 --> 00:21:32,530
因为大家都知道这场游戏最终只会有一个赢家。你去为了研究安全措施，
256
00:21:32,610 --> 00:21:36,610
只会放慢自己研究的速度，最后呢让你输给其他的 AI 大科技。
257
00:21:36,690 --> 00:21:39,890
大公司们总喜欢说啊自己有多道德、多负责任，
258
00:21:39,890 --> 00:21:44,290
但实际上他们的 AI 开发仍然是毫无节制的野蛮生长。
259
00:21:44,370 --> 00:21:49,250
我希望有更多的人能了解到我们现在正在面对的这个实际的威胁。到最后呢，
260
00:21:49,330 --> 00:21:54,130
立法的进度对这些 AI 大科技的监管也可以发生的更快。感谢您的收看，
261
00:21:54,130 --> 00:21:57,330
这里是肖佛森啊，我们下期再见。
