特征和多项式回归

我们可以通过几种不同的方式来改进我们的特征和假设函数的形式。
比如将多个功能合并为一个特征:
我们可以将$x_1$和$x_2$组合成$x_1⋅x_2$,以此变成一个新的特征$x_3$。

多项式回归

如果直线并不能很好的拟合数据,那么我们可能需要的不是线性回归(直线形式)。
此时,我们可以通过使其成为二次函数,立方函数或平方根函数(或任何其他形式)来改变我们的假设函数的行为或曲线。
举个例子:
如果我们的假设函数是$h\theta(x)=\theta_0+\theta_1x_1$,那么我们可以基于$x_1$增加额外的特征。
比如:

  • 二项式函数:$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_1^2$
  • 立方函数:$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_1^2+\theta_3x_1^3$
  • 平方根函数:$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2\sqrt {x_1}$

其中,在立方形式当中,我们新建两个特征$x2$和$x3$,其中$x2=x_1^2$,$x3=x_1^3$,其他形式也是类似的,我们使用新特征来表示改变后的特征。

一个重点:如果你选择了这些多项式函数,那么特征的缩放则显得尤为重要。
比如,如果$x_1$在1-1000的范围,那么$x_1^2$的范围就变成了1-1000000,$x_1^3$的范围就变成了1-1000000000。

分享到