深度学习中如何选好激活函数和损失函数？

激活函数和损失函数是深度学习领域中的两个重要课题。其实应该加入更多因素，比如网络宽度，网络深度和权重初始化方法等。

1、激活函数，提供非线性激活，通常情况下，可以选ReLU。

2、损失函数，定义了网络的“任务”，通常情况下，回归任务就是L1和L2，分类任务就是softmax+cross-entropy。

李宏毅的课程可以给你更多启示。Train不起了，着急，怎么办？