正规方程

正规方程是一种不需要迭代就能找到最优参数$\theta$的方法。
公式:
$θ=(X^TX)^{−1}X^Ty$
正规方程不需要特征缩放。

查看更多

分享到

特征和多项式回归

我们可以通过几种不同的方式来改进我们的特征和假设函数的形式。
比如将多个功能合并为一个特征:
我们可以将$x_1$和$x_2$组合成$x_1⋅x_2$,以此变成一个新的特征$x_3$。

查看更多

分享到

梯度下降技巧

  • 调试梯度下降:
    在x轴上绘制迭代次数,然后将成本函数J(θ)绘制在梯度下降的迭代次数上。如果J(θ)增加,那么你可能需要减少α。
  • 自动收敛测试:
    如果J(θ)在一次迭代中减小小于E,则说明已经收敛,其中E是一些小值,例如$10^-3$。但是在实践中很难选择这个阈值。
    实践证明,如果学习率α足够小,那么J(θ)将在每次迭代中减少。Andrew Ng建议在调整α的过程中,减少的幅度为3的倍数。
分享到

特征归一化

我们可以通过让每个输入值在大致相同的范围内,以此来加速梯度下降。
这是因为θ在小范围内能迅速下降,相反在大范围内则下降缓慢.
因此当变量非常不均匀时,θ下降到最优值会十分低效。

查看更多

分享到

多变量线性回归

具有多个变量的线性回归也称为“多元线性回归”,其可以有任意数量的输入变量。

查看更多

分享到

基本线性代数复习

这一篇总结一点简单的线性代数知识

查看更多

分享到

梯度下降

前面我们已经学习了假设函数以及成本函数(一种测量假设函数拟合训练集的好坏程度的方法)。
现在我们需要估计假设函数中的参数,此时,我们常用到梯度下降方法。

查看更多

分享到

单变量线性回归

模型表示

  • 回顾线性回归问题,依据输入数据,我们把输入映射到一个连续的结果函数。
  • 一个变量的线性回归也被称为“单变量线性回归”。
  • 单变量线性回归被用于当你想要通过输入一个单变量x,并预测一个输出值y。(这里我们做的是监督学习,也就是说我们预先是知道输入/输出的效果的。)

查看更多

分享到

无监督学习

无监督学习,换一句话说,我们不清楚输出的标签结果应该有什么,即使不知道变量的影响,我们也可以得到数据的结构

查看更多

分享到

监督学习

在机器学习算法当中,我们往往会有一个输入和输出,通常情况下,输入和输出存在一定的关系。
而在监督学习中,我们会给出一个数据集(输入)并提供它的正确标签(输出)。

查看更多

分享到