5 月 14 日至 18 日，第 30 届国际神经网络联合会议 (IJCNN ) 在美国阿拉斯加安克拉治举办。本次会议继承悠久的传统，由国际神经网络协会 (INNS) 和 IEEE 计算智能协会 (IEEE-CIS) 合作组织。在 2017 年的 IJCNN 中，总共提交有 933 份论文，其中接受论文 621 篇，接受率达 66.6%。会议还包括有 372 场报告和 249 个海报展示。

由 Alex Graves、 Stephen Grossberg、Odest Chadwicke Jekins、Christof Koch、Jose Principe 以及 Paul Webos 等人所发表的演讲报告反映了不同的主题，其涵盖了深度学习、意识、机器人学、神经科学、认知和脑结构以及先进学习系统的基础。

Alex Graves 的报告包含了深度学习的发展和人工神经网络等内容，而他和同事在如何克服 RNN 的局限性方面所做的努力介绍地尤为详细。他提出了能扩展到更好的递归神经网络架构的可能性。第一个延伸是记忆的扩展。通常，递归神经网络的记忆存储在隐藏激活的向量中，这让网络很难记住足够多的信息。他提出的解决方案是让网络访问外部记忆。他和他的同事们正在尝试使用神经图灵机 [1] 和目前最先进的记忆增强架构来解决这个问题。第二个延伸是让 RNN 学会何时停止。这是一个非常实际的问题，例如，他们让 RNN 学习并生成没有明显结束标志的句子，这也和元学习（meta-learning）问题相关。其中的一个解决方案是适应性计算时间 (ACT) [2]。第三个延伸是我们如何学习到超越通过时间反向传播 (BPTT) 的结果。现有一些解决方案，例如，截断反向传播、实时循环学习 (RTRL) 以及去耦神经接口 [3]。最后一个扩展就是指导学习（guided learning）。指导学习的主要问题就是当学习是最有效率的时候，我们如何将神经网络引导到数据处理。主动学习（Active learning）已经被研究了几年了。像人类一样，网络应该根据预测的增益和复杂度的增益来寻找最有趣的知识。主要的方案就是内在驱动 (更具有生物学意义)[4] 和课程学习（Curriculum learning）[5]。

图：2016 年 Nature 上关于可微分计算机的论文：《使用拥有外部记忆的神经网络的混合计算，Hybrid computing using a neutral network with dynamic external memory》

 另一个有趣的报告是 Jose C. Principe 教授所做的，他从 2002 年开始就是佛罗里达大学电子和生物医学工程专业教授。他的团队关注生物医信息处理。他曾断言，从认知的角度来看，感知所需要的是模型空间的不变量。感知是一个主动过程，期间我们应该经历认知过程的「感知-行动-奖励-循环」。例如，他和他的同事提出的贝叶斯方法利用一个动态处理元素的分层的分布式架构，它能够以自组织的方式学会对视频输入中的物体进行聚类。Jose 教授的团队还创建了一个具有跨层因果形式的自顶向下路径的架构，这个架构使用了具有反馈的双向路径 (DPCN)[6]。为了以优先级的分层形式来预测信息，他们还提出了深度预测编码网络 (DPCN)[7]，其中时变信号中的时间依赖以层级式的方式被捕获。它进一步使用自顶向下的信息去调制较低层中的表征。在这个报告的第二部分，他还表达了自己对「硬科学，hard science」的观点--我们如何解释意识的心理物理学。他质疑，即使是现代的机器学习技术也会在意识的数学模型上一败涂地，这是基于 Godal 的不完备性 [8]，即一个「足够强大」的正式系统不会持续地产生与数论真命题同构的确定性理论。

关于 IJCNN 的进一步介绍还会继续

参考文献：

[1] Graves, Alex, Greg Wayne, and Ivo Danihelka. "Neural turing machines." arXiv preprint arXiv:1410.5401 (2014).(神经图灵机)

[2] Graves, Alex. "Adaptive computation time for recurrent neural networks." arXiv preprint arXiv:1603.08983 (2016).(递归神经网络的适应计算时间)

[3] Jaderberg, Max, et al. "Decoupled neural interfaces using synthetic gradients." arXiv preprint arXiv:1608.05343 (2016).(使用合成梯度的解耦神经接口)

[4] Bellemare, Marc, et al. "Unifying count-based exploration and intrinsic motivation." Advances in Neural Information Processing Systems. 2016.(统一基于计数的探索和内在驱动)

[5] Graves, Alex, et al. "Automated Curriculum Learning for Neural Networks." arXiv preprint arXiv:1704.03003 (2017).(神经网络的自动课程学习)

[6] Principe, Jose C., and Rakesh Chalasani. "Cognitive architectures for sensory processing." Proceedings of the IEEE 102.4 (2014): 514-525.(感知过程的认知架构)

[7] Chalasani, Rakesh, and Jose C. Principe. "Deep predictive coding networks." arXiv preprint arXiv:1301.3541 (2013).(深度预测编码网络)

[8] https://plato.stanford.edu/entries/goedel-incompleteness/(Gödel 的不完备定理)