詳解兩者的區別「線性回歸和非線性回歸的區別」

序曲

浣溪沙·詠橘

【送】蘇軾

菊暗荷枯一夜霜。新苞綠葉照林光。竹籬茅捨出青黃。

香霧噀人驚半破,清泉流齒怯初嘗。吳姬三日手猶香。

【譯文】

一夜霜凍過後,菊花凋殘,荷葉枯萎,經霜變黃的橘子和綠葉相映襯,光亮照眼,竹籬茅舍掩映在青黃相間的橘林之間。

破開橘皮,芳香的油腺如霧般噴濺;初嘗新橘,汁水在齒舌間如泉般流淌。吳地女子的手剝橘後三日還有香味。

【釋義】

物詩詞,義兼比興,講求氣象,自然容易受到好評。蘇軾是詠物能手,他的詩詞中既有托諷深遠的名篇,也有刻畫精工的妙制,像這首詠橘詞,可謂「寫氣圖貌,既隨物以宛轉;屬采附聲,亦與心而徘徊」(《文心雕龍·物色》),巧言切狀,體物細微,雖無深刻的思想內容,卻飽有餘味。

作者借詠橘之題材以抒發自己清新高潔之性情。上片借寫菊與荷經受不住寒霜的摧殘,寫出橘樹耐寒的品性和它在尾前屋後生長的繁盛景況。下片寫出品嘗新橘的情狀和橘果的清香,一個『「驚」字,一個「怯」字,用得十分巧妙精當,頗能傳出品嘗者的神態,結句更以「三日手猶香」來誇張、突出橘果之香。

非線性回歸簡介

非線性回歸是指在因變量與一系列自變量之間建立非線性模型。線性與非線性並不是說因變量與自變量間是直線或曲線關係,而是說因變量是否能用自變量的線性組合來表示。如果經過變量轉換,兩個變量可以用線性來表達去關係,那麼可以用之前章節中介紹的方法進行擬合回歸方程。但經過變量變化後,兩個變量關係仍然不能用線性形式來表達,則就會用到本節介紹的非線性回歸分析方法。

非線性回歸模型一般可以表示為:

回歸分析 之 非線性回歸

其中:f(x, θ)為期望函數。該模型結構和線性回歸函數非常相似,所不同的是期望函數可能為任意形式,甚至在有的情況下沒有顯式關係式,回歸方程中的參數估計是通過迭代方法獲得的。

SPSS採用兩種迭代方法:Levenberg-Marquardt法序列二次規劃法

  • Levenberg-Marquardt法又叫做阻尼最小二乘法,是對Gauss-Newton法的改進。它有一個阻尼因子λ,用λ可以控制搜索步長和方向。當λ=0時,即為Gauss-Newton法;當λ–∞,趨於零向量,即為最速下降法。Levenberg-Marquardt法的優勢在於對影響Gausss-Newton法有效性的病態二次項,也可以通過阻尼因子來控制。
  • 序列二次規劃法主要思路是:形成基於拉格朗日函數二次近似的二次規划子問題,而這些問題可以用任意一種二次規划算法求解,求得的解用來形成新的迭代公式,作為下一次搜索的依據。用序列二次回歸算法求解非線性有約束問題時的迭代次數常比求解無約束問題時少,因為在搜索區域內,序列二次規划算法可以獲得最大的搜索步長和方向信息。

SPSS實現非線性回歸

示例:醫院管理人員欲建立一個回歸模型,對重傷病人出院後的長期恢復情況進行預測。自變量為病人住院天數(x),因變量為病人出院後長期回復的預後指數(y),指數取值越大表示預後結果越好。

回歸分析 之 非線性回歸
  1. 繪製散點圖

(1) 打開 圖形—舊對話框—散點圖 繪製散點圖

回歸分析 之 非線性回歸
  • 對兩個變量可嘗試擬合指數曲線 ,對應變量y做自然對數變化,得到y『=lny。觀察y』與x的散點圖(如下圖所示),y『與x呈直線趨勢。
回歸分析 之 非線性回歸
  • 注意:如果用最小二乘法擬合y』與x的執行回歸方程 y『=b0+b1x,之後再將結果帶回,那麼得到的方差不能保證殘差平方和最小,因為此時回歸方程y』=b0+b1x只保證了最小。非線性回歸方程中的迭代算法得到方程,可以保存殘差平方和最小。
  1. 打開 分析—回歸—曲線估算
回歸分析 之 非線性回歸

(1) 參數選擇

a. 主頁面說明

回歸分析 之 非線性回歸
  • 因變量:進入非線性回歸模型的因變量,因變量是數值型的,如果為分類變量,則分析前應進行轉換
  • 模型表達式:輸入的模型至少應包含一個自變量
  • 函數:給出了各種可能用到的數學函數

(2)「參數」頁面

  • 進行迭代計算來確定模型參數,首先必須給定參數的處置,在參數子對話框內指定模型參數的處置。
  • 名稱:指定參數的名稱,必須是合法的,並且是模型表達式中使用的名稱
  • 開始值:指定參數的處置,初值越接近最終確定的參數真值越好。所有參數都需要指定初值,不合適的初值會導致迭代不收斂或建立的模型只對部分數據有效。將前次計算的參數結果作為當前初值,可增加計算的精度。
  • 使用上一分析的開始值:是否將以前進行的非線性回歸分析獲得的參數值作為初始值,若選中該項,它將取代事先指定的初始值。該選項在後面的分析中一直起作用,所以當變換模型時,務必不要忘記取消該選項。
回歸分析 之 非線性回歸

(3)「損失」頁面

  • 殘差平方和:以殘差平方和為損失函數,此時擬合的就是最小二乘法。
  • 用戶定義的損失函數:可以從左側備選變量框中選擇,如Resid_**2,表示的就是最小二乘法。
回歸分析 之 非線性回歸

(4)「約束」頁面

  • 未約束:不對參數進行約束
  • 定義參數約束:定義參數約束表達式,可以是等式、不等式
回歸分析 之 非線性回歸

(5)「保存」頁面

  • 預測值:保存與測試
  • 殘差:保存殘差
  • 導數:保存導數
  • 損失函數值:保存損失函數的值
回歸分析 之 非線性回歸

(6)「選項」頁面:用於設置與分析方法有關的選項

回歸分析 之 非線性回歸
  1. 結果輸出與解釋:

(1)迭代歷史記錄

  • 下表中給出了每一個迭代步驟中各次的殘差、參數計算值。迭代經過8次模型計算和4次求導計算後終止,兩次相鄰計算的殘差平方和的差值幾乎等於1.00E-008。
回歸分析 之 非線性回歸

(2)模型比較

  • 圖A給出了參數估計值、漸近標準差和漸近95%置信區間。參數 a 的估計值為4.071,參數 b 的估計值為 -0.040,。兩者的95%置信區間均不包括0,表明參數a和參數b均有統計學意義
  • 圖B給出了參數a和參數b相關係數,為 -0.707
回歸分析 之 非線性回歸

(3)模型檢驗結果

  • 下圖包括回歸項、殘差項、沒有校正和校正後總的自由度、平方和和均方的大小。
  • 從紅色框中可看出,決定係數 R2=0.987,表明所得回歸模型擬合效果很好
回歸分析 之 非線性回歸

(4)回歸方程

  • 本次非線性回歸方程為:
回歸分析 之 非線性回歸
  1. 語法
******************** 非線性回歸 ******************.
* 非線性回歸.
MODEL PROGRAM a=4 b=-0.04.
COMPUTE PRED_=EXP(a+b*x).
NLR y
/OUTFILE='C:UsersADMINI~1AppDataLocalTempspss7912SPSSFNLR.TMP'
/PRED PRED_
/CRITERIA SSCONVERGENCE 1E-8 PCON 1E-8.

原創文章,作者:投稿專員,如若轉載,請註明出處:https://www.506064.com/zh-hk/n/318779.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
投稿專員的頭像投稿專員
上一篇 2025-01-12 12:00
下一篇 2025-01-12 12:00

相關推薦

發表回復

登錄後才能評論