梯度下降技巧

Coursera Ng 笔记
机器学习
  • 调试梯度下降:
    在x轴上绘制迭代次数，然后将成本函数J（θ）绘制在梯度下降的迭代次数上。如果J（θ）增加，那么你可能需要减少α。
  • 自动收敛测试:
    如果J（θ）在一次迭代中减小小于E，则说明已经收敛，其中E是一些小值，例如$10^-3$。但是在实践中很难选择这个阈值。
    实践证明，如果学习率α足够小，那么J（θ）将在每次迭代中减少。Andrew Ng建议在调整α的过程中，减少的幅度为3的倍数。
分享到