本文共 831 字，大约阅读时间需要 2 分钟。

梯度检测

目的

验证BP的正确性（代码能够正确计算出代价函数J的导数）。因为BP容易出现bug，此时神经网络的误差会比无bug高出一个量级，且此时无法知道是由bug引起的。

代码

% Numerical estimation of gradientsfor i = 1:n,	thetaPlus = theta;	thetaPlus(i) = thetaPlus(i) + EPSILON;	thetaMinus = theta;	thetaMinus(i) = thetaMinus(i) - EPSILON;	gradApprox = (J(thetaPlus) - J(thetaMinus))/(2*EPSILON);end;

步骤

1. 通过BP计算 DVec
2. 实现数值上的梯度检验，计算出gradApprox
3. 验证$DVec\approx gradApprox$，即$|DVec-gradApprox|<tol$
4. Turn off gradient checking. using backprop code for learning. 即一旦验证反向传播的实现是正确的，应在训练前关闭梯度检验/禁用梯度检验代码。
   reason: 梯度检验的代码是一个计算量非常大非常慢的计算导数的程序，比BP慢得多。如果在每次梯度下降或者在每次代价函数的内循环里都运行一次梯度检测，程序会变得非常慢。

Note

实现反向传播或类似的梯度下降算法来计算复杂模型时，可以使用梯度检测来确保代码的正确性。

转载地址：http://bumzi.baihongyu.com/