多元回归

多元回归是指一个因变量（预报对象）与多个自变量（预报因子）的回归模型。基本方法是根据各变量值算出交叉乘积和Si。这种包括两个或两个以上自变量的回归称为多元回归。应用此法，可以加深对定性分析结论的认识，并得出各种要素间的数量依存关系，从而进一步揭示出各要素间内在的规律。

ADSFAEQWER353423413434

在处理测量数据时，经常要研究变量与变量之间的关系。变量之间的关系一般分为两种。一种是完全确定关系，即函数关系；一种是相关关系，即变量之间既存在着密切联系，但又不能由一个或多个变量的值求出另一个变量的值。例如，学生对于高等数学、概率与统计、普通物理的学习，会对统计物理的学习产生影响，它们虽然存在着密切的关系，但很难从前几门功课的学习成绩来精确地求出统计物理的学习成绩。但是，对于彼此联系比较紧密的变量，人们总希望建立一定的公式，以便变量之间互相推测。回归分析的任务就是用数学表达式来描述相关变量之间的关系。 ADSFAEQWER353423413434

相关变量之间的关系可以是线性的，也可以是非线性的。这里只讨论多元线性回归。设x1,x2,…,xp是p个可以精确测量或可控制的变量。如果变量y与x1，x2，…,xp之间的内在联系是线性的，那么进行n次试验，则可得n组数据：(yi,xi1,xi2,…,xip),i=1,2,…,n它们之间的关系可表示为：y1=b0+b1x11+b2x12+…+bpx1p+ε1 y2=b0+b1x21+b2x22+…+bpx2p+ε2 ……………… yn=b0+b1xn1+b2xn2+…+bpxnp+εn 其中，b0，b1，b2，…，bp是p＋l个待估参数，εi表示第i次试验中的随机因素对yi的影响。为简便起见，将此n个方程表示成矩阵形式：Y=XB+ε 其中 Y=(y1,y2,…,yn)' B=(b0,b1,…,bp)' ε=(ε1,ε2,…,εn)' 上式便是p元线性回归的数学模型。

为了求出多元线性回归模型中的参数b0，b1，b2，…，bp,可采用最小二乘法，即在其数学模型所属的函数类中找一个近似的函数，使得这个近似函数在已知的对应数据上尽可能和真实函数接近。设c0，c1，c2，…，cp分别是b0，b1，b2，…，bp的最小二乘估计，则多元回归方程（即近似函数）为: y=c0+c1x1+c2x2+…+cpxp 其中c0，c1，c2，…，cp叫做回归方程的回归系数。对每一组(xi1,xi2,…,xip),由回归方程可以确定一个回归值yi。这个回归值yi与实际观测值yi之差，反映了yi与回归直线y=c0+c1x1+c2x2+…+cpxp的偏离程度。若对所有的观测数据，yi与yi (I=1,2,…,n)的偏离越小，则认为回归直线与所有试验点拟合得越好。全部观测值yi与回归值yi的偏差平方和为：Q = Σ(yi - ŷi)^2。根据微分学中的极值原理，c0，c1，c2，…，cp应是下列方程组的解：∂Q/∂cj = 0 (j=0,1,…,p)。通过整理可将上述方程组写成如下形式：X'X C = X'Y，其中，c=(c0，c1，c2，…，cp)'，称为回归方程的系数矩阵，X'是X的转置矩阵。当X'X满秩时，逆矩阵(X'X)^{-1}存在，系数矩阵C可以表示为：C=(X'X)^{-1}X'Y，上式即为回归模型中参数B的最小二乘估计。至此，我们就得到了p元线性回归方程。建立回归方程的目的是要利用它来进行预报与控制。在实际问题中，事先并不能断定随机变量y与x1,x2,…,xp之间确有线性关系，在求解回归方程前，线性回归模型只是一种假设，所以在求出线性回归方程之后，还需对其进行统计检验，给以肯定或否定的结论。有关回归方程及回归系数的显著性检验问题，这里就不介绍了。

由于线性回归方程比较简单，所以在遇到非线性模型时，最好将其转换为线性模型。

• 多项式模型：多项式模型为y=β0+β1x+β2x^2+…+βk x^k+ε，对方程中的变量作如下变换x1=x, x2=x^2,……, xk=x^k，则原方程变为y=β0+β1x1+β2x2+…+βk xk+ε，就可用线性模型的方法处理。
• 指数模型：指数模型为：y=a e^{bx} ε，方程两边取对数得：lny = lna + bx + lnε，令y'=lny, β0=lna, β1=b, ε'=lnε，则可得线性方程y'=β0+β1x+ε'。
• 幂函数模型：幂函数模型为：y=a x1^{b1} x2^{b2} ε，方程两边取对数得 lny = lna + b1 lnx1 + b2 lnx2 + lnε，令 y'=lny, b0=lna, x1'=lnx1, x2'=lnx2, ε'=lnε，则幂函数模型就变为线性模型y'=b0+b1x1'+b2x2'+ε'。
• 成长曲线模型：成长曲线模型在经济、教育和心理研究中都非常有用，其数学表达式为：y = 1/(β0+β1 e^{-x}+ε)，令 y'=1/y, x'=e^{-x}，它就转化为线性模型：y'=β0+β1x'+ε。

ADSFAEQWER353423413434

• 原数据：http://www.jswl.cn/course/a1016/dytjzdyy/dyhg/dyhgqs.htm
• Draper, N. R., & Smith, H. (1998). Applied Regression Analysis (3rd ed.). Wiley.
• Montgomery, D. C., Peck, E. A., & Vining, G. G. (2012). Introduction to Linear Regression Analysis (5th ed.). Wiley.
• 王松桂, 陈敏, 陈立萍. (2011). 线性统计模型: 线性回归与方差分析. 高等教育出版社.
• 何晓群, 刘文卿. (2011). 应用回归分析 (第4版). 中国人民大学出版社.