最小二乘法定义
最小二乘法定义如下：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小 。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达最小二乘估计量的特性：根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式，这就涉及到最小二乘估计式或估计量的最小方差（或最佳）性、线性及无偏性，简称为BLU特性。这就是广泛应用普通最小二乘法估计经济计量模型的主要原因。下面证明普通最小二乘估计量具有上述三特性 。1、线性特性所谓线性特性，是指估计量分别是样本观测值的线性函数，亦即估计量和观测值的线性组合 [10] 。2、无偏性无偏性，是指参数估计量的期望值分别等于总体真实参数 [10] 。3、最小方差性所谓最小方差性，是指估计量与用其它方法求得的估计量比较，其方差最小，即最佳。最小方差性又称有效性。这一性质就是著名的高斯一马尔可夫（ Gauss-Markov）定理。这个定理阐明了普通最小二乘估计量与用其它方法求得的任何线性无偏估计量相比，它是最佳的
最小二乘法估计参数
最小二乘法来估计参数，就是使得实际值与估计值的差距的平方最小。β可以被已知的未知数计算得到是无偏估计的值。但是用最小二乘法可以得到最好的线性无偏估计量，因为变异比较小。所以这种方法就是最稳定的最通用的方法。如果只有一个β1，也就是只有y与x1，则使用两样本t检验和回归分析是一样的。因为两样本t检验就可以计算β的置信区间，因此也可以在该回归方程中。另一种估计参数方法是最大似然函数，用此法估计参数值是一样的，但是仅对于y是连续值情况。采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何。在工程物理、 化学工程、 生物医学、 统计学、 经济学、 信号处理、 自动化、测绘学等领域中， 许多问题都可归结为求解矩阵方程 Ax=b的问题。通过计算机仿真说明了在模型中所有变量均具有不可忽略的误差时， 全最小二乘法得到的参数估计更接近。除了线性均方估计外，最小二乘估计是另一种不需要任何先验知识的参数估计方法，最小二乘估计不需要先验统计特性，适用范围更广。
