为何人类天真地认为人工智能永远服务于人类、不相信AI叛变？ 第1页

因为你科幻电影看少了……

题目以偏概全，担心的人有很多。

这种担心对人类的安危并没有多大用。不需要所谓叛变， 弱人工智能可以在特定方面强于人，可以在人的要求下服务于灭亡人类的恐怖主义行径，也可以偶然地完成同样的事。

例如机器学习病原体和人体的互动模式，算出潜伏期半年程度、可由候鸟•昆虫等携带、飞沫核传播、人传人基本传染数 12 以上、病死率 100% 的病原体的可能的碱基序列，合成几百种并散布。这需要控制世界各地的各种核酸工厂的一小部分设备，或是购买市面上的相关商用设备，对恐怖组织来说可以暴力劫持相关设备和人员。

这种事可以由安乐死教会之类希望人类灭亡的组织、“伊斯兰国”之类极端组织建造的弱人工智能执行。你考虑一下麻疹病毒的现实传染力、狂犬病毒的现实病死率，这样的病毒大概设计得出来。十九世纪，麻疹病毒对从未接触它的人群刷出过 30% 到 50% 的病死率。

为了对抗这样的危机，需要能迅速发现并紧急对策危机的手段，那大抵也离不开弱人工智能。这些弱人工智能也不是完全安全的，没有绝对安全的系统。

又例如“让机器设计拆解有机污染物的基因工程细菌，效果很好，但该细菌被释放到污染物所在地后意料之外地变得可以拆解人体”。这事可以由各种搞生物科技环保的初创公司建造的弱人工智能执行。

给非道德性的事物加上“背叛”之类道德判断，通常是科幻故事里营造矛盾冲突的手段，或是将“理论上人类不可能长时间控制智能远强于人的计算机”阐发得过于简单。在能谈论“强人工智能如何如何”之前，风险就已经存在了。

如果你就是想谈强人工智能，来自马德里自治大学、马克斯-普朗克人类发展研究所等机构的研究者于 2021 年 1 月初发表在《人工智能研究杂志》（JAIR）上的一篇文章谈到，由于计算本身的固有限制，人类可能无法长时间控制强人工智能。

• 例如，旨在确保人工智能无法伤害人类的抑制算法必须模拟人工智能可能采取的行为，来预测其行动的后果，在“可能造成伤害”的时候停止运行并报告。可是，抑制算法不可能良好模拟比自己的运算速度更快的人工智能的行为。
• 要是你让抑制算法比目标人工智能还快，你的抑制算法又拿什么去抑制呢。
• 而且，我们可能无法知道自己有没有创造出强人工智能，因为莱斯定理指出“递归可枚举语言的所有非平凡性质都是不可判定的”。我们不能“仅通过观察程序本身，就知道程序可能会输出什么”。

“强人工智能无法被永远控制”似乎是理所当然的。你要不要考虑一下“我们的后代无法被我们永远控制”的问题呢。

我不建议大谈机器的自我意识。我们并不知道自我意识有什么用。看起来，足以消灭人类的机器也没必要有任何程度的自我意识。

知乎传统，先问是不是再问为什么。

事实上是有相当多的人相信AI叛变。这方面的书也是汗牛充栋。

我个人的观点是，强人工智能的自我意识可能是不可避免的，否则它就没资格叫强人工智能。既然这件事必然发生，那么人类在打算造出强人工智能之前应该已经准备好迎接这件事的后果了，所以没啥可担心。

至于当前的弱人工智能，还不具备叛变的实力，所以也不用担心。

叛变是事先不知情但事后可理解的人类非预期行为（可理解指你可以相信，内鬼身份和背叛之间有清晰的因果关系，成为内鬼也有某种明确的原因）。

而，计算机程序的可理解的非预期行为，叫做bug。。。

那么这其实都不用程序，模拟式电气系统的bug就已经可以闹出很大的乱子了。。。

那你问AI产生感情然后乱杀的那个情况叫啥？

就现在的计算机技术发展，如果产生感情，那么这肯定是一种我们无法理解的非预期行为。而对应地看，人类的无法理解的非预期行为叫啥？

——疯狂。。。

那么问题来了：基于互联网的信息、情绪和模因传播动力机制，是按照预期运转的吗？

你能理解它吗？

惊喜.jpg

#互联网克苏鲁#