反向传播通过反向连接发送的误差信号来调整突触,该经典方法已在监督学习设置中有详细描述。
然而,大脑似乎将反向连接用于不同目的,而且主要以无监督的方式进行学习,为原始感官输入中的隐式表征构建显式结构从而建立表征。那么,我们很自然地就会想到这个问题:反向传播算法是否可以帮助我们有关大脑学习的信息?
该研究认为,尽管存在明显的差异,但大脑仍有能力实现反向传播的核心原则。其主要思想是,大脑可以通过使用反向连接来引发神经元活动从而计算有效的突触更新,而这些神经元活动将局部计算出的差异编码成类似于反向传播的误差信号。
该研究将一组看似完全不同的学习算法放入该框架中——neural gradient representation by activity differences(NGRAD)。
NGRAD 框架表明,在避开反向传播许多有问题的实现要求后,反向传播核心原则的实现是可能的。这些考虑因素可能与任何同时包含前向和反向连接的脑回路有关。尽管如此,该研究团队仍然大脑皮层,皮层是由其多层结构和分层组织所定义的,因此长期以来被视为具与深度网络具备很多相关的架构特征。
大脑中是否存在反向传播?
目前没有直接证据表明,大脑使用类似反向传播的算法进行学习。但是,之前的研究表明,使用反向传播训练的模型可以解释观测到的神经响应,如后顶叶皮层和初级运动皮层中的神经元响应。此外,神经科学领域对视觉皮层进行建模的研究提供了新的证据。
该研究表明,相比匹配灵长目动物视觉皮层腹侧流中表征的其他模型,使用反向传播训练得到的多层分类模型性能更好(参见下图 2)。
未使用反向传播训练的模型(如使用 Gabor filter 的生物启发模型,或使用非反向传播优化的网络)的性能不如使用反向传播进行优化的网络。与使用反向传播训练的模型所发现的表征相比,未使用反向传播模型的表征无法很好地匹配下颞叶皮层中的表征。
