科技巨头垄断AGI，比天网更恐怖百倍！
《终结者》导演詹姆斯·卡梅隆过去的一番论断，迎来了热议：
他直指核心：
AGI不会来自政府项目，而是由科技巨头打造。
这比我在40年前《终结者》中描绘的情景更可怕，因为至少现在它已不再是科幻小说了。
在1984年上映的《终结者》中，美国国防部开发的AI网络「天网」（Skynet）获得了自我意识，最终对人类发动核打击，几乎将世界拖入末日深渊。
2024年10月举行的（人工智能与机器人峰会）「SCSP AI+Robotics Summit」上，James Cameron通过视频连线发表演讲。
这位长期关注科技发展的著名导演表示，他「看好AI」，但对通用人工智能持明显保留态度。
在他看来，真正令人担忧的，并不是机器觉醒后主动毁灭人类，而是AGI在诞生之初，就牢牢掌握在少数科技巨头手中。
人类将来「生活在一个自己从未同意、从未投票的世界里，与一个超级智能的外星物种共存，而这个物种只听命于企业的目标和规则」。
在他看来，这种由公司主导的超级智能系统，可能拥有前所未有的数据访问能力——从个人通信、思想表达，到位置信息和行为轨迹。
一旦缺乏制衡，AI可能迅速滑向数字极权主义。
而最乐观情景也不乐观：科技巨头将成为「人类福祉的自封仲裁者」，相当于「狐狸看守鸡舍」，它们「绝不会考虑用这种力量对付我们、把我们最后一滴血汗都榨干」。
战争、自动化与「开火授权」
作为峰会讨论的重要议题之一，AI与国家安全的关系成为Cameron发言的核心内容。
他指出，机器人本质上是AI的「具身化」载体。
当一个决策系统被赋予现实世界中的物理行动能力，问题就不再停留在算法层面，而是涉及生死与伦理。
Cameron以当前战争中广泛使用的无人机为例指出，目前大多数武器系统仍保留「人类在回路中」（human in the loop）的机制——最终的「开火授权」掌握在人类手中。
但随着AI决策能力的增强，一个关键问题浮出水面：是否应该赋予自主系统独立的杀伤权限？
他承认，从技术角度看，AI或许能够比情绪波动、疲劳作战的人类士兵更精准、更克制，甚至在理论上减少附带伤害。
然而，一旦AGI真正具备自我意识与自我改进能力，将其接入武器系统，风险将呈指数级放大。
「当敌对方率先这么做时，道德约束可能会迅速被放弃。」他说。
「对齐」难题：谁来定义「善」？
当前AGI研究中的核心概念之一是「对齐」（alignment），即确保系统目标与人类福祉保持一致。
但Cameron在演讲中提出质疑：在人类自身都无法就道德标准达成共识的情况下，如何为超级智能设定统一的价值框架？
从宗教分歧到政治对立，从战争伦理到生命议题，人类社会长期处于价值观冲突之中。即便是被广泛引用的「Asimov机器人三定律」，在现实社会中也难以直接套用。
「如果我们自己都在为『什么是善』争论不休，又如何指望机器获得明确答案？」他反问。
在他看来，AGI终将成为人类的一面镜子——「我们有多善，它就有多善；我们有多恶，它就有多恶。」
科幻创作者的现实转向
尽管发出警告，Cameron并未站在技术反对者一边。
他表示，自己并不主张阻止技术进步，相反，他计划在创作中积极拥抱AI技术，就像当年率先推动数字特效革命一样。
他目前正参与生成式AI企业Stability AI的董事会工作，显示出其在产业层面的深度参与。
不过，他强调，对AI的乐观与对AGI的警惕并不矛盾。真正值得警惕的，并非机器本身，而是权力结构、道德框架与治理机制能否跟上技术演进的速度。
在技术加速发展的背景下，Cameron的发言再次将一个核心问题推到公众面前：当超级智能不再属于科幻，而成为现实可能，人类是否已经准备好面对它所带来的权力与责任？
答案，或许仍在未来。
参考资料：
https://www.youtube.com/watch?v=e6Uq_5JemrI
本文来自微信公众号“新智元”，作者：新智元，36氪经授权发布。
