在阅读《为什么：关于因果关系的新科学》这本书的过程中，结合自己对于神经网络的理解，对人的认知模式有了一些想法。因果思维是人类最自然的一种思维方式，人们会无意识的把事物的因果包含在对事实的描述和理解中。人对于任何事都会有意义或无意识的做出个解释，在这个解释的过程中会调整自己对世界的认知，而对于一些完全无法解释的事物也会利用“做梦”，“眼花”，”魔术“，”发疯“之类的理由去说服自己，而“无法说服自己”是一种病态的精神状态。这里就以因果关系假设为核心，尝试从因果假设的角度解释一下人的认知模式，大脑，和深度神经网络为什么有效。并基于这一假设，提出一些关于人工通用智能AGI的实现思路。

对人类认知规则的假设

  1. 人的意识==存储在大脑中的所有因果关系假设。人脑默认将所有联系理解为因果联系，相关性联系表达为双向的因果联系。
  2. 大脑从输入数据学习的是双向相关性联系，而有自己参与的行为会作为一个do干预事件，将双向相关性联系，修剪为单向因果联系。自我意识在学习因果联系时发挥着现实锚点的作用。
  3. 所有的感知都会触发一些因果关系网，对输入信号的处理可能产生一个输出（动作），或者是对因果关系网络做出调整。
  4. 所有的意外都是因果关系网络中输入信号处理发现的不一致，意外会调动大脑的注意力，对现象做出解释，并调整因果关系。
  5. 所有的意外必须做出解释，如果已有的网络无法通过调整做出自洽的解释，就引入一个新的因果关系。
  6. 因果关系网络是按照抽象程度分层的，睡眠时大脑会对因果关系网进行“数据挖掘”，将具体的关系总结出更抽象的因果关系。

对深度学习网络的另一种解释

我们一直以来认为机器学习都是对已有数据中规律的发现，深度学习也不例外，无论有多大规模的网络，多少训练数据，都无法突破因果思维的第一层“观测”，无法解决需要“干预”和“想象”才能完成的任务。

对深度神经网络模型的能力，传统的解释是，神经网络有表达出几种基础逻辑运算的能力，在大规模的神经网络了，就有能力捕捉到所有输入和输出之间可能的逻辑关系；就像是我们如果能用一种材料制造出各种门电路，并且能够大规模集成，理论上就一定能做出通用CPU。

在《为什么》这本书中的一个因果图让我有了一种新的想法，这个图和神经网络太像了（节点，连接，权重），如果把神经网络看作是一堆随机的因果关系假设，那么深度学习的能力就不只是发现数据中的相关性，而是用数据建立因果关系网：

  1. 神经网络可以理解为一组随机的因果关系假设，每一层是不同的抽象层级。
  2. 对于神经网络，意外就是网络的Cost Function，通过Backpropagation来调整各种假设，来解释（匹配）新的数据。
  3. 神经网络的Evaluation，就是对新的数据，利用已经建立的因果关系假设推理出可能的结果。

用这种解释方式，深度神经网络就不只是发现数据中的相关性规律，深度学习模型是有观点的，只是利用数据来验证和调整自己的观点，并且会用自己的观点对数据给出自己的判断。最近的GTP3网络的能力也表明深度学习网络规模的增加的量变似乎是可以带来质变的。

由于在机器学习中缺少“自我”的参与，所有数据都只是观测，深度学习能学到的还只能是双向的相关性联系，而没有能力无法剔除一个方向的连接进化为因果联系。

对大脑工作方式的解释

地球上的动物不约而同的使用了一种基于神经元的控制系统架构，而且这样的硬件设计还能进化出人类这样的智慧生物，说明这种基于节点和连接的信号传递系统是有极强的表现力的。如果把神经元和轴突、树突的连接想像成一个贝叶斯网络，对于大脑的运转方式可以有下面这样的解释：

  1. 大脑是由神经元之间的连接构成一个贝叶斯网络，每个神经元表达一个概念，每个子网络都代表着一个因果关系假设。
  2. 新生儿的大脑会继承父母的网络连接结构，网络连接的权重是随机的，需要后天习得。
  3. 外围神经系统是输入输出信号的Embedding，对输入信号（视觉，听觉，触觉）进行降维，对输出信号（运动）升维。大脑处理的是已经经过大量抽象降维后的信号，而我们所说的“肌肉记忆”也是实实在在存在于外围神经系统里的。
  4. 大脑接收到的信号会激活一些神经元，这些神经元将信号向周围传递，这些不同神经元发出的信号在网络中会相遇，一致的信号会被忽略，不一致的信号将启动解释网络，对网络连接的权重进行调整，而高于一定阈值的不一致信号（不可能现象）会打通新的网络通路。
  5. 清醒时的大脑在进行在线学习，对数据进行即时的响应，同时调整网络；而睡眠是大脑会进行数据挖掘式的学习，更新潜意识中的因果网络。

要验证这个假设的关键在于第4点，需要找到神经元的通信中如何发现不一致，和差异信号如何被处理的生化机制。这一现象也被描述为：默认模式网络，注意力模式网络，和监督网络。

AGI的实现思路

既然我们人类的智慧是基于这样的硬件设计，模拟神经元的设计应该是

如果上面的假设是有效的，那么深度神经网络就是实现AGI的正确方向，需要解决的问题，就是如何构造出能表达所有可能的因果关系假设的网络结构，和模拟人类的数据解释方式进行更高效的Backpropagation算法。