来源 | 周志华教授，专知
前言：深度学习有很多问题目前还不清楚。例如深度神经网络为什么要“深”？它成功背后的关键因素是什么？深度学习只能是深度神经网络吗？本文将分享一些我们关于深度学习的粗浅思考。
前言：深度学习有很多问题目前还不清楚。例如深度神经网络为什么要“深”？它成功背后的关键因素是什么？深度学习只能是深度神经网络吗？本文将分享一些我们关于深度学习的粗浅思考。
1 引言
深度学习已被广泛应用到涉及图像、视频、语音等的诸多任务中并取得巨大成功。如 果我们问“深度学习是什么？”很可能会得到这样的回答：“深度学习就是深度神经网 络”。至少在目前，当“深度学习”作为一个术语时几乎就是“深度神经网络”的同义词， 而当它指向一个技术领域时则如 SIAM News 头版文章所称[1]，是“机器学习中使用深度神经网络的子领域”。关于深度学习有很多问题还不清楚。例如深度神经网络为什么要“深”？它成功背后的关键因素是什么？深度学习只能是深度神经网络吗？本文将分享一些我们关于深度学习的粗浅思考。
2 深度神经网络
神经网络并不是“新生事物”，它已经被研究了半个多世纪[2]。传统神经网络通常包 含一个或两个隐层，其中每个“神经元”是非常简单的计算单元。如图 1 所示，神经元 接收来自其他神经元的输入信号，这些信号通过连接权放大，到达神经元之后如果其总 量超过某个阈值，则当前神经元就被“激活”并向外传递其输出信号。实际上每个神经 元就是图 1 中非常简单的计算式，而所谓神经网络就是很多这样的计算式通过嵌套迭代 得到的一个数学系统。
