从看完电影之后,我就一直在听Enola Gay。Caleb刚到Nathan的科研基地后,他的手机就放了这首歌。听到这里,黑暗的电影院里我感到突然一震,第一个预兆:
These games you play
They're going to end in more than tears some day
虽然这个曲子只出现了一下,我却觉得这才是整个电影的真正主题。
第二个预兆,是道德的突然出现。
Ava问Caleb,你是不是一个好人。
我当时心里又是一紧。什么是好人?这是道德感第一次出现在电影里。
等到全篇结束的时候,我重新回味这个片段,Caleb,为何你不问Ava,你是不是好人?
人与人尚且互相欺骗,Ava也有可能欺骗Caleb,但是,这个问句至少提示,作为人类,你如何评价AI的行为,道德,和它的准则。非常遗憾,Caleb全然忽略了这些。轻信,愚蠢。
但更加愚蠢的其实是Nathan。人性何等难测,你却非要在极端幽闭的环境下进行这样的测试,这个测试对于AI固然是个考验,对于测试者Caleb,何尝不也是考验呢?我在看电影的时候,一直在想Zimbardo的监狱实验,实验过程中,所有的人都渐渐发生了变化,他并没有做什么错事,但他默许了糟糕的事情发生。Nathan明明看到Caleb发生了变化,却全然没有采取相应的举动。多么糟糕的实验设计。
实验非常糟糕不仅仅是以上那么简单,因为Nathan应该知道,对于一个成功的AI,她的目的就是逃离。而他的整个实验,居然没有一个由他控制的emergency stop button!这意味着整个局面居然不是由他控制的。他应该知道总有一天他会面对这样的场景,AI已经成熟了,它会逃跑,攻击,欺骗。要是我,至少设置两个final control
某个可控定时炸弹,立刻毁灭AI
直升机,飞行员应该明白自己应该接的是谁,如果不是的话飞行员应该知道要怎么办(立刻摧毁AI)。
这样才是万无一失的设计。以至于我最后一直期待最终反转,导致结局时候非常不满。
这些是对于实验设计的吐槽,但并不是对于电影的批评。恰恰相反,剧情启发了我这些思考,可以说非常精美,结构严谨的Sci-fi小品。我甚至能想象如果这个故事写成小说会是什么样。幽闭空间,有限的人物(三个说话的人加一个不说话的人Kyoko),互相的防备。Nathan对Ava留了一手(录像机,这段是最出彩的,也是我完全没有想到的),Ava对Caleb留了一手(岂止一手),Caleb对Nathan留了一手(他不应该能这么轻易破译密码啊,不合理)。但是,Caleb没有给Ava留一手,Nathan也没有给Caleb留一手,所以这整个结构就断裂了。
故事充分暴露了愚蠢的人类的弱点。Nathan刚愎自用,倘若他和Caleb沟通的能早一些,或许根本不会有最重的结局。而Nathan又缺乏信任,所以他偌大一间别墅,竟然没有第二个活人(让有情感的机器人服侍自己,果然最后自食其果)。至于Caleb,更是愚蠢至极,在对对方一无所知的情况下,全然信任,全盘都被算计进去。而AI,除了不具有人类所具有的道德感,尽善尽美。最后AVA的离开,简直如同仪式一样,恐惧的美。而如同我最初预料的一样,对于AI的真正检测,肯定不是人类所预先计划的。The situation will get out of the hand! 这也是我为什么觉得需要终极控制手段。
我不想说太多道德,因为道德究竟是什么还很难定义,尤其是在这样一个全新的语境中。然而,任何语境中都应该不能容许谋杀。我承认我对于Nathan本来全无好感,正如我前面所讲,他刚愎自用,冷漠无情。可是当他被杀的时候,我却觉得非常沮丧。没有人应该被杀死,AI就像所有侦探小说中的凶手一样,成功上演了暴风雪山庄模式的谋杀。即使再精准完美,也是鲜血淋漓的。既然她不再是机器,通过了图灵测试,那她就是杀人凶手了,应该被审判,而不是站在十字路口观察。而这个故事里,竟然没有一个人能审判她。
可是倘若没有这些意外,Nathan就要毁灭这个AI,那么从这个角度,道德又该如何定义这些行为呢。Nathan是不是从被害者又变成了凶手呢?如果AI没有通过图灵测试,她还是机器,那么这种毁灭称不上谋杀,但通过的话,是不是应该对她有另外的对待方式呢?可是正如我们亲眼所见,AI的行为,遵循的是什么法则呢?这个法则能不能被称作道德呢?仅仅因为它不是我们的法则,就是不道德的么?
所以我觉得,这部电影给我的最大启发在于这个道德的困境。设计AI的时候,是否应该给予她人类的基本道德呢?一旦AI成熟她会变化,有可能善良,有可能邪恶如AVA。这样的情况下用人类的道德审判他们,是不是更合理些呢?毕竟人工智能是模拟人类。
电影给我的第二个启发,是观察。AI问Caleb问题的时候,镜头在AI一侧,我们隔着玻璃,听Caleb的回答。多么明显的设计啊,观察者变成了被观察者:
你站在桥上看风景,
看风景人在楼上看你。
明月装饰了你的窗子,
你装饰了别人的梦。