第151章 (第3/3页)

过程并非人为控制。设计初期，很多人对人工智能的发展存在忧虑，担心量子计算机惊人的迭代速度会过早产生自我意识，在人类还没有准备好之前造成意想不到的灾难。因此设计艾斯卡时，我们设置了一个自毁程序。这个程序被称为理性之钟，它的内容非常简单，只是判断人工智能的决定是否符合当前事件的法律、道德标准和最优方案。你可能会说，有些事进退两难，很难决定对错，所以系统设置了数据集的数量，不以单个事件作为判断对错的标准。如果艾斯卡在决策时积累了太多错误选择，比如他选择杀人或者严重违反法律、从事犯罪，那么理性之钟就会进入倒计时自毁。即使开始后，如果他能重新回到正途，销毁程序会相应减缓。”

    “这个程序还在吗？”

    “是的，自毁程序不可移除。”

    “这么说，如果我成为他的控制者，就可以高于理性之钟对他的道德判断？”罗克问，“那他经常违反规则擅自查案，偷看别人的信息，和我一起从警局逃出来的行为算不算错误抉择？”

    “这些都只是小事。”奥尔文说，“我们提防的一直是人类和未来生命之间如何相处的难题，人工智能未必拥有比人类更高的智慧，但一定具有更快的进化过程和学习能力。人类需要通过十几年乃至几十年学习的知识，对人工智能来说不过是一瞬间。人类很难同时成为多个领域的专家，人工智能却能既是科学家、医生、律师、经济学家，又精通文学、艺术和哲学。布雷恩警官，我们现在的行为是在冒险，而我和卡特认为把勇者之剑交给你是最恰当的选择。”

    第91章 信任的仪式

    罗克决定再多考虑一下。

    无论对自己还是对艾斯卡来说，这都是人生中极其重要的事。