5.3 多元回归参数的估计

对于回归模型y=Xβ+ε，我们可以将其残差平方和表示为：

根据常规最小二乘法（OLS）的原理，通过对上述残差平方和进行最小化，就可得到总体参数的最小二乘估计b。对式（5-9）求β的一阶导数并令其等于0，即：

解出上式，就可得到回归参数的OLS估计量为：b=（X′X）-1X′y。

接下来，我们来证明在满足A1假定的情况下，上述b为式（5-2）中总体参数β的无偏估计。我们知道所谓无偏估计就是E（b）=β。根据前面得到的回归参数的估计向量，我们可以将其期望值表示为：

根据前面的A1正交假定，我们有E（X′ε）=0，因此式（5-10）可进一步简化为：

这意味着，从样本估计得到的最小二乘估计b是总体回归模型中β的无偏估计。