最小二乘法_最小二乘法中参数方差的推导[数学]

精选知识

在给别人的回答中,描述了这个推导过程,对于任何曲线都是这个原理哒.

原问题：

题目:炼钢是氧化脱碳的过程,钢液含碳量直接影响冶炼时间长短.设通过5次实验已得到某平炉冶炼时间y与钢液含碳量x的一组数据

i 1 2 3 4 5

xi 163 123 150 123 141

yi 186 126 172 125 148

求y与x的函数表达式.（用最小二乘法 直线 拟合此题）

写在前面：

喵.也就我这么好心.只有15分还帮你写程序.

如果你将来做技术,你就会经常要搭建数学模型,那么就会大量运用各种的最小二乘法来拟合模型参数,所以要好好学哦,

希望通过这个例子,能够让你对最小二乘法入门.

开始：

最小二乘法,通常用在,我们已知数学模型,但是不知道模型参数的情况下,通过实测数据,计算数学模型,例如,在题目中,数学模型就是直线方程y=ax+b,但是不知道直线方程的a和b.

本来呢,我们只需要两组（xi,yi）,就可以解得a和b,但是由于实测数据都存在误差,所以,我们很容易想到一个办法,我们测很多组数据来让我的a和b更加准确.

“我们测很多组数据来让我的a和b更加准确” ,那么我从数学角度如何体现这句话呢?

比如在此例中,已知数学模型 y=ax+b

我们有很多组数据,那么我们要找一条直线,使得我们测得的每个数据,到这条直线的偏离量的总和最小.（这句话有点拗口,慢慢理解下 = =）

那么怎么用数学描述“偏离量总和最小”这个概念呢?

数学家运用了方差!

数学模型 y=ax+b

设F=ax+b-y

那么对于模型上的点(注意是模型上的点,也就是理论值),F=ax+b-y=0

但是对于实际值来说,F=axi+b-yi 一定不等于0.那么我们就要找到一对a和b,使得F尽可能接近于0.

也就是说,“偏离量总和最小”这个概念,在数学上实际上就是要求F的方差最小.

即 Σ F^2→0 （F的平方和趋近于0）

即 Σ(axi+b-yi)^2→0

那么我们得到一个方程f(a,b)=Σ(axi+b-yi)^2,我们要找到合适的a,b使得f(a,b)最小!

也就是说,我们要找到的实际上是f(a,b)的最小值点.（因为方差不可能小于0）

因此我们需要求f(a,b)的极值点.我们借助数学工具偏导.

如果有一组a,b使得

∂f(a,b)/∂a=0

∂f(a,b)/∂b=0

那么f(a,b)就是极值点,如果a,b只有一对,那么它就是最小值点.

即 ∂( Σ(axi+b-yi)^2 )/∂a=0

∂( Σ(axi+b-yi)^2 )/∂b=0

化简得到

a*Σxi^2 + b*Σxi = Σ(xi*yi)

a*Σxi + b*N = Σyi

其中N是(xi,yi)的个数.即我们测了多少组数据

解上面的二元方程,我们就可以得到唯一的一组a,b啦,这就是我们所需要的a和b

其他类似问题

问题1：求正态分布的数学期望和方差的推导过程注意,是正态分布,不是标准正态分布.好像需要二重积分,我怎么也做不对,[数学科目]

不用二重积分的,可以有简单的办法的.

设正态分布概率密度函数是f(x)=[1/(√2π)t]*e^[-(x-u)^2/2(t^2)]

其实就是均值是u,方差是t^2,百度不太好打公式,你将就看一下.

于是：

∫e^[-(x-u)^2/2(t^2)]dx=(√2π)t.（*）

积分区域是从负无穷到正无穷,下面出现的积分也都是这个区域,所以略去不写了.

（1）求均值

对（*）式两边对u求导：

∫{e^[-(x-u)^2/2(t^2)]*[2(u-x)/2(t^2)]dx=0

约去常数,再两边同乘以1/(√2π)t得：

∫[1/(√2π)t]*e^[-(x-u)^2/2(t^2)]*(u-x)dx=0

把(u-x)拆开,再移项：

∫x*[1/(√2π)t]*e^[-(x-u)^2/2(t^2)]dx=u*∫[1/(√2π)t]*e^[-(x-u)^2/2(t^2)]dx

也就是

∫x*f(x)dx=u*1=u

这样就正好凑出了均值的定义式,证明了均值就是u.

(2)方差

过程和求均值是差不多的,我就稍微略写一点了.

对(*)式两边对t求导：

∫[(x-u)^2/t^3]*e^[-(x-u)^2/2(t^2)]dx=√2π

移项：

∫[(x-u)^2]*[1/(√2π)t]*e^[-(x-u)^2/2(t^2)]dx=t^2

也就是

∫(x-u)^2*f(x)dx=t^2

正好凑出了方差的定义式,从而结论得证.

问题2：最小二乘法公式推导将最小二乘法的公式全推导出来![数学科目]

最小二乘法

在我们研究两个变量(x,y)之间的相互关系时,通常可以得到一系列成对的数据(x1,y1、x2,y2...xm ,ym)；将这些数据描绘在x -y直角座标系中(如图1),若发现这些点在一条直线附近,可以令这条直线方程如(式1-1).

Y计= a0 + a1 X (式1-1)

其中：a0、a1 是任意实数

为建立这直线方程就要确定a0和a1,应用《最小二乘法原理》,将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)2〕最小为“优化判据”.

令:φ = ∑(Yi - Y计)2 (式1-2)

把(式1-1)代入(式1-2)中得:

φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)

当∑(Yi-Y计)平方最小时,可用函数 φ 对a0、a1求偏导数,令这两个偏导数等于零.

(式1-4)

(式1-5)

亦即：

m a0 + (∑Xi ) a1 = ∑Yi (式1-6)

(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi,Yi) (式1-7)

得到的两个关于a0、 a1为未知数的两个方程组,解这两个方程组得出：

a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8)

a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9)

这时把a0、a1代入(式1-1)中,此时的(式1-1)就是我们回归的元线性方程即：数学模型.

在回归过程中,回归的关联式是不可能全部通过每个回归数据点(x1,y1、 x2,y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”,统计量“F”,剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好.

R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊

在(式1-1)中,m为样本容量,即实验次数；Xi、Yi分别任意一组实验X、Y的数值.微积分应用课题一 最小二乘法

从前面的学习中,我们知道最小二乘法可以用来处理一组数据,可以从一组测定的数据中寻求变量之间的依赖关系,这种函数关系称为经验公式.本课题将介绍最小二乘法的精确定义及如何寻求 与 之间近似成线性关系时的经验公式.假定实验测得变量之间的 个数据 ,,…,,则在 平面上,可以得到 个点 ,这种图形称为“散点图”,从图中可以粗略看出这些点大致散落在某直线近旁,我们认为 与 之间近似为一线性函数,下面介绍求解步骤.

考虑函数 ,其中 和 是待定常数.如果 在一直线上,可以认为变量之间的关系为 .但一般说来,这些点不可能在同一直线上.记 ,它反映了用直线 来描述 ,时,计算值 与实际值 产生的偏差.当然要求偏差越小越好,但由于 可正可负,因此不能认为总偏差 时,函数 就很好地反映了变量之间的关系,因为此时每个偏差的绝对值可能很大.为了改进这一缺陷,就考虑用 来代替 .但是由于绝对值不易作解析运算,因此,进一步用 来度量总偏差.因偏差的平方和最小可以保证每个偏差都不会很大.于是问题归结为确定 中的常数 和 ,使 为最小.用这种方法确定系数 ,的方法称为最小二乘法.

由极值原理得 ,即

解此联立方程得

(*)

问题3：高中数学必修三的方差的简化公式是怎么推导的啊,能不能教教我啊,谢谢了,我现在很闹心啊 ,到处都有不会的你帮我写来我看看好吗？我买的书恰好没解释我又看不懂 呵呵，等我看看啊，好[数学科目]

一般资料书均有解释,我买的教材完全学案解释的很工整,但是比较繁琐,建议你记住公式,因为高中不予掌握其推导过程

我若要打,术语真多,你会看不懂,最好去网站找找

证明

E(ξ)=p

E(ξ^2)=0^2*q+1^2*p=p

Dξ=(Eξ^2)-[E(ξ)]^2=p-p^2=p(1-p)

第二题

E(ξ)=∑ k*P(ξ=k)=∑ k*q^(k-1)p=p*(1+2q+3q^2+...)

=p*(q+q^2+q^3...)'←求导

=p(q/1-q)'

=p/(1-q)^2

=1/p

E(ξ^2)=∑ k^2*P(ξ=k)=∑ k^2*q^(k-1)p=p*(1+4q+9q^2+...)

=p*(q+2q^2+3q^3...)'

=p*[q(1+2q+3q^2...)]'←这里可以从上面那个式子知道得:

=p*[(1-p)/p^2]'

=1/p^2

所以

Dξ=E(ξ^2)-[E(ξ)]^2=1/p^2-1/p=(1-p)/p^2=q/(p*p)

EX=np 证明如下

EX=∑kb(k;n,p)=∑k*C(k,n)p^kq^(n-k)

=np∑C(k-1,n-1)p^(k-1)q^(n-1-k+1)

=np∑C(k,n-1)p^kq^(n-1-k)

=np∑b(k;n-1,p)

=np

DX=npq 可用公式DX=EX^2-(EX)^2求出

EX^2=∑k^2b(k;n,p)

=∑[k(k-1)+k]b(k;n,p)

=∑k(k-1)b(k;n,p)+∑kb(k;n,p)

=n(n-1)p^2∑b(k;n-2,p)+np

=n(n-1)p^2+np=n^2p^2+npq

=n^2p^2+npq

所以DX=EX^2-(EX)^2=n^2p^2+npq-n^2p^2

=npq

X～b(n,p),其中n≥1,0

问题4：方差的推导这两个式子怎么来的ξ服从二项分布 Dξ=npqξ服从几何分布 Dξ=q÷p^2ξ服从几何分布 Dξ=q÷ p^2的情况呢 就是图上的内容吗 N m n是指什么 有没有像推导ξ服从二项分布那种简单一点的[数学科目]

B(n,p),其中n≥1,0<p<1.

P{X=k}=C(n,k)*p^k*(1-p)^(n-k),k=0,1,...,n.

EX=np,DX=np(1-p).

最简单的证明方法是：X可以分解成n个相互独立的,都服从以p为参数的(0-1)分布的随机变量之和：

X=X1+X2+...+Xn,Xi～b(1,p),i=1,2,...,n.

P{Xi=0}=1-p,P(Xi=1)=p.

EXi=0*(1-p)+1*p=p,

E(Xi^2)=0^2*(1-p)+1^2*p=p,

DXi=E(Xi^2)-(EXi)^2=p-p^2=p(1-p).

EX=EX1+EX2+...+EXn=np,

DX=DX1+DX2+...+DXn=np(1-p).

问题5：样本方差 随机变量方差为什么在计算随机变量的方差与计算样本数据的方差的计算公式不一样?[数学科目]

因为两者是不同的东西.

随机变量的方差衡量的是其所服从的分布的变动幅度大小,算出来应当是该分布中的参数的函数；而样本方差只用到了我们现有的抽取的样本所提供的信息,是一个统计量,如果将具体数字代进去,也将能得到一个具体数值.

我想你所混乱的也许是在X1,X2...Xn iid~X时,它们明明服从同一个分布,为什么会有不同的计算方差的公式.

如果我们知道参数的确切值（如知道某一枚硬币或骰子确为公允）,那么将以上所有都视为服从同一分布的随机变量,它们当然应该有同样的方差,但问题是我们常常并不知道参数的值,而想要估计它,所以才会取样（有点管中窥豹的意思）,如果我们仍用分布的方差计算公式来做,就失去意义了,因为里面有我们不知道的参数!所以我们设计了样本数据的方差公式作为估计量.这个估计量有良好的性质,即当我们样本越取越多,它的值(这个我们总能够算出来)将越来越接近真正的分布的方差.

这样你就看出来了,随机变量的方差与分布的参数有关,不同分布的方差公式不同,这由分布本身决定.而样本方差的公式是我们设计的,是为了让其辅助我们的研究,它只与数据本身有关,除有特殊要求的情况下,不管分布是什么,我们的样本方差计算公式都是一样的.