必修三中的最小二乘法

這種使用均方誤差作為損失,並求得損失最小值的方法就叫做最小二乘法線性模型相信很多人遇到最小二乘法是在高中數學必修三裏,那麼讓小編來為大家介紹一下什麼最小二乘法以及二乘法的運用和案例。

什麼是最小二乘法

最小二乘法(又稱最小平方法)是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

最小二乘法原理

最小二乘法(又稱最小平方法)是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。

利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

最小二乘法還可用於曲線擬合。

其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

示例：數據點(紅色)、使用最小二乘法求得的最佳解(藍色)、誤差(綠色)。

某次實驗得到了四個數據點：...(右圖中紅色的點)。我們希望找出一條和這四個點最匹配的直線，即找出在某種“最佳情況”下能夠大致符合如下超定線性方程組的和：

最小二乘法採用的手段是儘量使得等號兩邊的方差最小，也就是找出這個函數的最小值：

最小值可以通過對分別求和的偏導數，然後使它們等於零得到。

如此就得到了一個只有兩個未知數的方程組，很容易就可以解出：

也就是説直線是最佳的。

人們對由某一變量或多個變量……構成的相關變量感興趣。如彈簧的形變與所用的力相關，一個企業的盈利與其營業額，投資收益和原始資本有關。為了得到這些變量同之間的關係，便用不相關變量去構建，使用如下函數模型,

個獨立變量或個係數去擬合。

通常人們將一個可能的、對不相關變量t的構成都無困難的函數類型稱作函數模型(如拋物線函數或指數函數)。參數b是為了使所選擇的函數模型同觀測值y相匹配。(如在測量彈簧形變時，必須將所用的力與彈簧的'膨脹係數聯繫起來)。其目標是合適地選擇參數，使函數模型最好的擬合觀測值。一般情況下，觀測值遠多於所選擇的參數。

其次的問題是怎樣判斷不同擬合的質量。高斯和勒讓德的方法是，假設測量誤差的平均值為0。令每一個測量誤差對應一個變量並與其它測量誤差不相關(隨機無關)。人們假設，在測量誤差中絕對不含系統誤差，它們應該是純偶然誤差(有固定的變異數)，圍繞真值波動。除此之外，測量誤差符合正態分佈，這保證了偏差值在最後的結果y上忽略不計。

確定擬合的標準應該被重視，並小心選擇，較大誤差的測量值應被賦予較小的權。並建立如下規則：被選擇的參數，應該使算出的函數曲線與觀測值之差的平方和最小。

最小二乘法推導

高中必修3變量間的相關關係一節中，迴歸直線方程的求解過程省略了推導過程，先推倒如下：

2求Q (a 、b 為變量)的最小值 (a , b ) =(y bx a ) i -i -

i =1∑n

思路：用配方法求Q (a , b ) 的最小值.

2 Q (a , b ) =(y bx a ) ∑i -i - i =1n n =∑∑n n i =1y i +∑x i b +n a -2∑x i y i b -2∑y i a +2∑x i ab 2222n n n i =1n i =1n i =1i =1= i =1 n x ab y i +∑x i b +n a -2∑x i y i b -2n y a +22222i =1i =1=n [a -2(y -b x ) a ]+∑x i b -2∑x i y i b +2n 22ni =1i =1∑n ) y i (將a 視作“主元”n n 2i =1 =n [a -2(y -b x ) a +(y -b x ) ]n (y -b x ) -2∑x i y i b ++∑x i b -22n 222i =1i =1∑y i 2i =1=n [a -(y -b x )]+(∑x x ) b -2(x n x y ) b +(∑y i -n y ) ∑i -n i y i -2n 222n n 22i =1i =1i =1

(完成對“主元”a 的配方後，再着手對剩餘的b 配方)

n 222=n [a -(y -b x )]+(∑x i -n x ) b -i =1 n x y -n x y ∑i i i =1 n 22x -n x ∑i i =1n 2+(∑y i -n y ) -2 i =12(∑x i y i -n x y ) 2i =1n ∑x i =1n 2i -n x 2 n 222=n [a -(y -b x )]+(∑x i -n x ) b -i =1 x y -n x y ∑i i i =1 n 22x i -n x ∑i =1n 2

最小二乘法例題講解

n個人對同一支鉛筆的長度進行測量，得到n個長度數據：X1，X2，X3，……，Xn。

那麼這支鉛筆的合理長度X，應該使所有偏差的平方和

Y(X)=(X1-X)^2+(X2-X)^2+(X3-X)^2+……+(Xn-X)^2，即

Y(X)=n*X^2-2*(X1+X2+X3+……+Xn)*X+[(X1)^2+(X2)^2+(X3)^2+……+(Xn)^2]最小。

這是一個簡單的一元問題，用不用導數都可以得到：合理長度為X=(X1+X2+X3+……+Xn)/n。

稍複雜一點，管道里不同壓力V下，測量水流速度I，得到n組數據：(V1,I1)、(V2,I2)、(V3,I3)、……、(Vn,In)。

為了確定經驗公式I=aV+b中的a和b。應該使所有偏差的平方和

Z(a,b)= [I1-(aV1+b)]^2+[I2-(aV2+b)]^2+[I3-(aV3+b)]^2+[In-(aVn+b)]^2，