小白求问一下加权最小二乘法是啥？
呃，楼上是个广告男??\x0d\x0a\x0d\x0a加权最小二乘（WLS）最一般的用法是克服异方差。比方说，现在有一个多元回归y = bX + e（矩阵表示，【X'】代表矩阵X转置）。原来的一般最小二乘（OLS）公式是\x0d\x0ab = (X'X)^(-1) * X'y\x0d\x0a\x0d\x0a而在异方差情况下，由于不满足OLS的五大假定，因此OLS的结果不再有效（not efficient，不是not valid）。因此相应的做法是将异方差矩阵分解，并左乘到回归模型中，得到的结果就是WLS回归。比如说，异方差阵为W，且W的逆可以分解为W^(-1) = P'P，那么经过一系列推导（略，可以找一本计量的课本，参考异方差相应章节），可以知道\x0d\x0ab* = (X'P'PX)^(-1) * X'P'Py\x0d\x0a\x0d\x0a换言之，正如题主所言，要用矩阵P去变换这个X和y，从而得到WLS回归，其中W矩阵里的元素，就是权重（weight）。 至于选择什么权重，就取决于W矩阵的设定形式。\x0d\x0a\x0d\x0a举个简单的例子，设一个一元回归y = bx + e，而扰动项e的方差协方差阵W是一个对角矩阵，即W = diag(s1, s2, ..., sn)，其中si代表第i个对角元，si ≠ sj\x0d\x0a那么W^(-1) = diag(1/s1, 1/s2, ..., 1/sn)\x0d\x0a如果用sqrt(a)表示a的开方，那么P矩阵就是P = diag(sqrt(1/s1), ... sqrt(1/sn))\x0d\x0a从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)\x0d\x0a可以看到，权重在这里是1/si，而对数据的变换方法是每个数据都乘以sqrt(1/si)\x0d\x0a\x0d\x0a至于更复杂的设定形式（如 ln x 等），代表更复杂的方差协方差阵W的设定。这里不再展开。有兴趣可以参考计量经济学教材（如，伍德里奇的），有更详细的推导。
什么是加权最小二乘法，它的基本思想是什么
加权最小二乘法是对原模型进行加权，使之成为一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数的一种数学优化技术。线性回归的假设条件之一为方差齐性，若不满足方差齐性（即因变量的变异程度会随着自身的预测值或者其它自变量的变化而变化）这个假设条件时，就需要用加权最小二乘法（WLS）来进行模型估计。加权最小二乘法（WLS）会根据变异程度的大小赋予不同的权重，使其加权后回归直线的残差平方和最小，从而保证了模型有更好的预测价值。扩展资料在多重线性回归中，我们采用的是普通最小二乘法(OLS)估计参数，对模型中每个观测点是同等看待的。但是在有些研究问题中，例如调查某种疾病的发病率，以地区为观测单位，地区的人数越多，得到的发病率就越稳定，因变量的变异程度就越小，而地区人数越少，得到的发病率就越大。在这种情况下，因变量的变异程度会随着自身数值或者其他变量的变化而变化，从而不满足残差方差齐性的条件。为了解决这个问题，我们采用加权最小二乘法(WLS)的方法来估计模型参数，即在模型拟合时，根据数据变异程度的大小赋予不用的权重，对于变异程度较小，测量更准确的数据赋予较大的权重，对于变异程度较大，测量不稳定的数据则赋予较小的权重，从而使加权后回归直线的残差平方和最小，确保模型有更好的预测价值。参考资料来源：百度百科-加权最小二乘法
