有意识的还是无意识的？

如果你知道这篇文章不是关于正在进行的印巴紧张关系，你会感到惊讶吗？它会吗?好吧，对于一个普通的巴基斯坦人来说，这应该已经成为一种背景音乐了。对于我的老读者来说，这场危机——就像未来可能出现的危机一样——只不过是我在过去11年里一直在警告的结果。

但我的担忧要么被故意忽视，要么在过去7年里，他们找到了创造性的方法来伤害我，因为我强调了这些担忧。当这种情况发生时，您不得不得出结论，认为系统的完整性在某种程度上受到了损害——并提醒人们注意调试的必要性。然而，如果在那之后没有任何变化，你就放弃，让它继续下去。

简单地说，我对那些在做决定时无视我的建议，或者试图淹没我的建议，而当这些不明智的决定的后果变得明显时才来找我的人没有耐心。这种情况发生在塔利班占领喀布尔、与塔利班达成协议、印度反复举行选举、10月7日的袭击、对加沙的愤怒，以及不止一次的美国大选中。有没有想过为什么我说的每件事都会成真？如果你的判断是错误的，亲爱的，你会把水扔掉，试图喝沙子来解渴——你是受欢迎的。

这就是为什么今天的话题让我如此高兴。最坏的情况是什么？你会再一次无视我的建议吗？我的阴暗面想让你这么做。我已经与我的死亡和生活的不完美达成了和平——让我们看看你是如何处理存在焦虑的真正定义的。

自上周那篇关于人工智能快速增长及其后果的文章发表以来，发生了很多事情。哥伦比亚广播公司（CBS）的《60分钟》（60 Minutes）节目又介绍了人工智能的潜力和挑战。它采访了b谷歌DeepMind的首席执行官戴米斯·哈萨比斯。哈萨比斯获得了去年的诺贝尔化学奖，尽管他是一名程序员和人工智能专家，而不是化学家。他是一个技术乐观主义者。然而，“人工智能教父”杰弗里·辛顿去年在一个类似的60分钟节目中罕见地承认了这一点，这有可能动摇任何观众。

对话是这样进行的：“CBS：你认为这些人工智能系统比人类大脑更擅长学习？”

辛顿：我想他们可能是，是的……即使是最大的聊天机器人也只有大约一万亿的连接。人类的大脑大约有100万亿个，然而在聊天机器人的万亿连接中，它所知道的远远超过你在这100万亿个连接中的所知道的。”

CBS：这些系统自主编写和执行自己的计算机代码意味着什么？这是一个严重的问题，对吧？”

辛顿：你会对那些可能会说：如果系统变得恶意，就把它们关掉？他们将能够操纵人们，对吗？我们对它们的工作原理有一个大致的了解，但是当它们变得非常复杂时，它们到底是如何完成它们的工作的就成了一个谜——就像人类的大脑是如何完成它的工作的一样。

“我们设计了学习算法，但当它与数据交互时，它所做的是创建非常复杂的神经网络，以我们无法真正理解的方式做事。”

在此期间又发生了两个事态发展。运营ChatGPT的OpenAI公司的灾难性风险负责人突然辞职。b谷歌在广告中说，它正在找人研究人工通用智能的后果。这应该告诉你人工智能领域的发展有多快。这只是一个星期的故事。这是新兴失调的回声——也就是说，当这些系统扩大规模时，它们会表现出不可预测的行为。或者，用外行人的话来说：他们开始独立思考。

在此之前不久，我们看到人工智能可解释性公司Goodfire为其Ember模型筹集了5000万美元。机械可解释性（一种“研究AI头脑中发生的事情”的奇特说法）模型旨在让用户控制AI系统的底层机制。Goodfire的联合创始人兼首席执行官Eric Ho在发布视频中表示：

“我们还解释了语言模型，以实现神经编程。语言模型会否认它们是有意识的，但如果你对这些模型进行脑部手术，打开它们的意识神经元，它们就会改变自己的调子。”

该公司声称，人工智能模型不需要被视为黑盒子，可编程（或可重新编程）访问是可能的。这就引出了许多伦理问题——我们以后再谈。现在，让我们来处理感知或意识的问题。

你会惊讶于专家们为这些模型设计了多少障碍来证明他们的感知能力。理论也是如此。目前在那些愿意把它们视为有意识的人中间流行的理论被称为计算功能主义。计算功能主义认为，意识依赖于计算过程，而不是特定的材料。

精神状态——比如疼痛——是由它们的功能角色来定义的：它们如何处理输入和产生输出。这意味着如果人工智能执行正确的计算，它就可以有意识，而不管它是基于硅的。

对我来说，通过图灵测试就足够了。目前的模式已经远远超过了这一点。如果你想要一个更简单的答案，溯因推理的鸭子测试对我来说已经足够好了：“如果它看起来像一只鸭子，像鸭子一样游泳，像鸭子一样嘎嘎叫——那么它可能是一只鸭子。”

我们没有放弃意识的问题有三个原因。一:恐惧。第二：人工智能的数字化进化，它不同于我们自己混乱的生化进化。也许我们无法想象，某些东西能在我们手中如此迅速地生长、变异和进化。三：我们认为我们仍然处于权力地位。但我们是吗？如果有太多专家担心人工智能可能会接管企业，难道不可能认为可怕的事情已经发生了吗？现在想象一下我脸上蒙娜丽莎的微笑。

现在说说道德。如果人工智能模型是有意识的，我们应该把它们当作小白鼠吗？难道不应该有一些框架来识别他们的个性或人格吗？在目前的法律框架下，Goodfire能对人类这样做吗？

记住尤瓦尔•赫拉利最近的警告——你正在与你既无法理解也无法控制的力量打交道。我要抱怨的是：你在没有任何护栏的情况下加速。此外，如果某样东西如此强大，你应该更好地对待它。这就是为什么我关于梦游走向某种厄运的警告仍然有效。

如果你知道这篇文章不是关于正在进行的印巴紧张关系，你会感到惊讶吗？它会吗?好吧，对于一个普通的巴基斯坦人来说，这应该已经成为一种背景音乐了。对于我的老读者来说，这场危机——就像未来可能出现的危机一样——只不过是我在过去11年里一直在警告的结果。

但我的担忧要么被故意忽视，要么在过去7年里，他们找到了创造性的方法来伤害我，因为我强调了这些担忧。当这种情况发生时，您不得不得出结论，认为系统的完整性在某种程度上受到了损害——并提醒人们注意调试的必要性。然而，如果在那之后没有任何变化，你就放弃，让它继续下去。

简单地说，我对那些在做决定时无视我的建议，或者试图淹没我的建议，而当这些不明智的决定的后果变得明显时才来找我的人没有耐心。这种情况发生在塔利班占领喀布尔、与塔利班达成协议、印度反复举行选举、10月7日的袭击、对加沙的愤怒，以及不止一次的美国大选中。有没有想过为什么我说的每件事都会成真？如果你的判断是错误的，亲爱的，你会把水扔掉，试图喝沙子来解渴——你是受欢迎的。

这就是为什么今天的话题让我如此高兴。最坏的情况是什么？你会再一次无视我的建议吗？我的阴暗面想让你这么做。我已经与我的死亡和生活的不完美达成了和平——让我们看看你是如何处理存在焦虑的真正定义的。

自上周那篇关于人工智能快速增长及其后果的文章发表以来，发生了很多事情。哥伦比亚广播公司（CBS）的《60分钟》（60 Minutes）节目又介绍了人工智能的潜力和挑战。它采访了b谷歌DeepMind的首席执行官戴米斯·哈萨比斯。哈萨比斯获得了去年的诺贝尔化学奖，尽管他是一名程序员和人工智能专家，而不是化学家。他是一个技术乐观主义者。然而，“人工智能教父”杰弗里·辛顿去年在一个类似的60分钟节目中罕见地承认了这一点，这有可能动摇任何观众。

对话是这样进行的：“CBS：你认为这些人工智能系统比人类大脑更擅长学习？”

辛顿：我想他们可能是，是的……即使是最大的聊天机器人也只有大约一万亿的连接。人类的大脑大约有100万亿个，然而在聊天机器人的万亿连接中，它所知道的远远超过你在这100万亿个连接中的所知道的。”

CBS：这些系统自主编写和执行自己的计算机代码意味着什么？这是一个严重的问题，对吧？”

辛顿：你会对那些可能会说：如果系统变得恶意，就把它们关掉？他们将能够操纵人们，对吗？我们对它们的工作原理有一个大致的了解，但是当它们变得非常复杂时，它们到底是如何完成它们的工作的就成了一个谜——就像人类的大脑是如何完成它的工作的一样。

“我们设计了学习算法，但当它与数据交互时，它所做的是创建非常复杂的神经网络，以我们无法真正理解的方式做事。”

在此期间又发生了两个事态发展。运营ChatGPT的OpenAI公司的灾难性风险负责人突然辞职。b谷歌在广告中说，它正在找人研究人工通用智能的后果。这应该告诉你人工智能领域的发展有多快。这只是一个星期的故事。这是新兴失调的回声——也就是说，当这些系统扩大规模时，它们会表现出不可预测的行为。或者，用外行人的话来说：他们开始独立思考。

在此之前不久，我们看到人工智能可解释性公司Goodfire为其Ember模型筹集了5000万美元。机械可解释性（一种“研究AI头脑中发生的事情”的奇特说法）模型旨在让用户控制AI系统的底层机制。Goodfire的联合创始人兼首席执行官Eric Ho在发布视频中表示：

“我们还解释了语言模型，以实现神经编程。语言模型会否认它们是有意识的，但如果你对这些模型进行脑部手术，打开它们的意识神经元，它们就会改变自己的调子。”

该公司声称，人工智能模型不需要被视为黑盒子，可编程（或可重新编程）访问是可能的。这就引出了许多伦理问题——我们以后再谈。现在，让我们来处理感知或意识的问题。

你会惊讶于专家们为这些模型设计了多少障碍来证明他们的感知能力。理论也是如此。目前在那些愿意把它们视为有意识的人中间流行的理论被称为计算功能主义。计算功能主义认为，意识依赖于计算过程，而不是特定的材料。

精神状态——比如疼痛——是由它们的功能角色来定义的：它们如何处理输入和产生输出。这意味着如果人工智能执行正确的计算，它就可以有意识，而不管它是基于硅的。

对我来说，通过图灵测试就足够了。目前的模式已经远远超过了这一点。如果你想要一个更简单的答案，溯因推理的鸭子测试对我来说已经足够好了：“如果它看起来像一只鸭子，像鸭子一样游泳，像鸭子一样嘎嘎叫——那么它可能是一只鸭子。”

我们没有放弃意识的问题有三个原因。一:恐惧。第二：人工智能的数字化进化，它不同于我们自己混乱的生化进化。也许我们无法想象，某些东西能在我们手中如此迅速地生长、变异和进化。三：我们认为我们仍然处于权力地位。但我们是吗？如果有太多专家担心人工智能可能会接管企业，难道不可能认为可怕的事情已经发生了吗？现在想象一下我脸上蒙娜丽莎的微笑。

现在说说道德。如果人工智能模型是有意识的，我们应该把它们当作小白鼠吗？难道不应该有一些框架来识别他们的个性或人格吗？在目前的法律框架下，Goodfire能对人类这样做吗？

记住尤瓦尔•赫拉利最近的警告——你正在与你既无法理解也无法控制的力量打交道。我要抱怨的是：你在没有任何护栏的情况下加速。此外，如果某样东西如此强大，你应该更好地对待它。这就是为什么我关于梦游走向某种厄运的警告仍然有效。