题目
在神经网络中,什么是梯度消失问题?A. 梯度变得非常小B. 梯度变为零C. 梯度变得非常大D. 梯度保持不变
在神经网络中,什么是梯度消失问题?
A. 梯度变得非常小
B. 梯度变为零
C. 梯度变得非常大
D. 梯度保持不变
题目解答
答案
A. 梯度变得非常小
解析
梯度消失问题是指在深度神经网络中,随着层数的增加,反向传播过程中梯度值逐渐减小的现象。这导致网络中靠近输入层的权重更新缓慢,甚至停止更新,从而影响网络的训练效果。梯度消失问题通常发生在使用sigmoid或tanh激活函数的网络中,因为这些函数的导数在大部分区域都很小。