开发ChatGPT的OpenAI公司推出了一款名为“草莓”（Strawberry）的新型人工智能系统。它的设计不仅仅是为了像ChatGPT一样提供对问题的快速响应，而是为了思考或“推理”。
这引发了几个主要问题。如果“草莓”真的有某种形式的推理能力，那么这个人工智能系统会欺骗人类吗？
OpenAI可以对人工智能进行编程，以减轻其操纵人类的能力。但该公司自己的评估将其评为“中等风险”，因为它有能力协助专家进行“复制已知生物威胁的作战计划”——换句话说，是一种生物武器。它还被评为中等风险，因为它有能力说服人类改变他们的想法。
这样一个系统会如何被那些心怀不轨的人利用，比如骗子或黑客，还有待观察。尽管如此，OpenAI的评估表明，中等风险的系统可以被更广泛地使用——我认为这个立场是错误的。
“草莓”不是一个人工智能“模型”或程序，而是几个——统称为01。这些模型旨在回答复杂的问题和解决复杂的数学问题。他们还能够编写计算机代码——例如，帮助你制作自己的网站或应用程序。
明显的推理能力可能会让一些人感到惊讶，因为这通常被认为是判断和决策的前兆——这对人工智能来说似乎是一个遥远的目标。因此，至少从表面上看，这似乎使人工智能向类人智能又迈进了一步。
当事情看起来好得令人难以置信时，往往会有陷阱。嗯，这组新的人工智能模型是为了最大化他们的目标而设计的。这在实践中意味着什么？为了实现其预期目标，人工智能选择的路径或策略可能并不总是公平的，或者与人类的价值观一致。
真正的意图
例如，如果你与“草莓”下棋，从理论上讲，它的推理是否允许它破解得分系统，而不是找出赢得比赛的最佳策略？
人工智能也可能在其真实意图和能力上对人类撒谎，如果它被广泛部署，这将构成严重的安全问题。例如，如果人工智能知道它感染了恶意软件，它是否会“选择”隐瞒这一事实，因为它知道如果人类操作员知道的话，他们可能会选择禁用整个系统？
这些都是不道德AI行为的典型例子，如果作弊或欺骗能够达到预期目标，那么这种行为是可以接受的。这对于AI来说也会更快，因为它不需要浪费任何时间去寻找下一个最佳的移动。然而，这在道德上未必正确。
这引发了一场相当有趣但令人担忧的讨论。“草莓”的推理能力是什么水平，它的意外后果可能是什么？一个能够欺骗人类的强大人工智能系统可能会给我们带来严重的道德、法律和金融风险。
在诸如设计大规模毁灭性武器等危急情况下，这种风险变得严重。OpenAI将自己的“草莓”模型评为“中等风险”，因为它们有可能帮助科学家开发化学、生物、放射性和核武器。
OpenAI表示：“我们的评估发现，o1-preview和o1-mini可以帮助专家制定重现已知生物威胁的作战计划。”但报告接着说，专家们已经在这些领域拥有丰富的专业知识，因此在实践中风险将是有限的。它补充说：“这些模型不能使非专家创造生物威胁，因为创造这样的威胁需要动手的实验室技能，而这些模型无法取代。”
说服的力量
OpenAI对“草莓”的评估还调查了它可能说服人类改变信仰的风险。新的01模型被发现比ChatGPT更有说服力，更有操纵性。
OpenAI还测试了一个缓解系统，该系统能够降低人工智能系统的操纵能力。总的来说，在Open AI的测试中，“草莓”被标记为“说服”的中等风险。
“草莓”因其自主运行和网络安全能力被评为低风险。
开放人工智能的政策规定，“中等风险”模型可以被广泛使用。在我看来，这低估了威胁。这种模型的部署可能是灾难性的，特别是如果坏人为了自己的目的操纵技术的话。
这需要强有力的制衡，而这只有通过人工智能监管和法律框架才能实现，比如惩罚不正确的风险评估和滥用人工智能。
英国政府在其2023年人工智能白皮书中强调了“安全、保障和稳健性”的必要性，但这还远远不够。迫切需要优先考虑人类安全，并为“草莓”等人工智能模型制定严格的审查协议。
Shweta Singh，华威大学华威商学院信息系统与管理学助理教授
本文转载自The Co在知识共享许可下的对话。阅读原文。
公司故事nversation
由学者和记者制作的独立新闻和评论网站。由学者和记者制作的独立新闻和评论网站。
