单变量线性回归

模型表示

• 回顾线性回归问题，依据输入数据，我们把输入映射到一个连续的结果函数。
• 一个变量的线性回归也被称为“单变量线性回归”。
• 单变量线性回归被用于当你想要通过输入一个单变量x，并预测一个输出值y。(这里我们做的是监督学习，也就是说我们预先是知道输入/输出的效果的。)

假设函数

我们的假设函数具有一般形式：

这就像一条直线的方程，我们给出θ₀和θ₁的值，就能得到估计的输出值。

​换句话说，我们尝试创建一个函数h_θ(x)，能将输入值x映射到输出值y上。

比如：

假设我们有以下训练集：

现在我们随机的设置h_θ(x) 中θ₀=2，θ₁=2，那么h_θ(x)=2+2x.
所以当输入为1时，通过假设函数，输出将会是4，这里误差为3。我们将尝试不同的θ₀和θ₁，试图通过映射在x-y平面上的数据点，找到最佳的拟合或者说最具代表性的”直线”。

成本函数

有了假设函数，我们需要衡量它是否合适，此时成本函数则可以用来衡量假设函数的准确性。
将假设函数由x得出的预测输出值和实际的y进行比较，并求平均值。此时，成本函数可以表示如下：

把上面的成本函数拆开，可以表示为X/2，其中X为h_θ(xi)-yi 的平方的平均数，或者说是预测值与实际值的误差。

该函数也被称为“平方误差函数”或“均方误差”，其中平均值减半（函数前面乘了1/2），是为了方便后期求梯度下降。（乘以了1/2可以抵消求导时的平方项）

现在我们能够根据我们的正确结果测量预测函数的准确性，以便我们预测新的数据。

如果从视觉上来考虑这个问题，训练数据集就散布在x-y平面上。
我们试图做出直线（h_θ(x)），来通过这组散布的数据。我们的目标是获得最佳线路。尽可能合适的线将使得这些点到直线的平均垂直距离最小。在最好的情况下，这条线应该穿过训练数据集的所有点。在这种情况下，J（θ₀，θ₁）=0。