Minitab 22 - Regression - Lineares/Polynomiales Modell versus Nichtlineare Regression - Zwei Beispiele

• Erstellt am 16.2.2023
• Überarbeitet am 9.4.2024
• Software: Minitab 22, 21

Bei linearen und polynomialen Modellen, deren Terme keine Abhängigkeiten oder zu hohe Multikollinearitäten aufweisen, konvergiert der Fit ohne Eingabe von Startwerten. Bei einem allgemeineren, nichtlinearen Modell konvergiert der Fit nicht immer, und es müssen Startwerte verwendet werden. In diesem Artikel verdeutlichen wir das an zwei Beispielen.

Erläuterung

Beispiel 1: Polynomiales Modell

Die Prädiktoren $x$ und $y$ und die Antwort $z$ nehmen die folgenden Werte an:

Das Modell ist $z=a+b*x+c*y+d*x*y+\epsilon$, wobei $\epsilon$ der Fehlerterm ist. Als Summe der kleinsten Fehlerquadrate ergibt sich

${\left(a+b{x}_1+c{y}_1+d{x}_1{y}_1-z_1\right)}^2+{\left(a+b{x}_2+c{y}_2+d{x}_2{y}_2-z_2\right)}^2+{\left(a+b{x}_3+c{y}_3+d{x}_3{y}_3-z_3\right)}^2+{\left(a+b{x}_4+c{y}_4+d{x}_4{y}_4-z_4\right)}^2+{\left(a+b{x}_5+c{y}_5+d{x}_5{y}_5-z_5\right)}^2+{\left(a+b{x}_6+c{y}_6+d{x}_6{y}_6-z_6\right)}^2+{\left(a+b{x}_7+c{y}_7+d{x}_7{y}_7-z_7\right)}^2+{\left(a+b{x}_8+c{y}_8+d{x}_8{y}_8-z_8\right)}^2$

$={\left(a+b+c+d-6\right)}^2+{\left(a+b+c+d-8\right)}^2+{\left(a+b-c-d-1\right)}^2+{\left(a+b-c-d-1\right)}^2+{\left(a-b+c-d-2\right)}^2+{\left(a-b+c-d\right)}^2+{\left(a-b-c+d-3\right)}^2+{\left(a-b-c+d-4\right)}^2$

Um die Summe der Fehlerquadrate zu minimieren, können wir die partiellen ersten Ableitungen nach den unbekannten Koeffizienten $a$, $b$, $c$, $d$, $e$ und $f$ bilden und die Werte für die Koeffizienten suchen, für die alle partiellen Gleichungen 0 werden. Dadurch erhalten wir das lineare Gleichungssystem

$2\left(a+b+c+d-6\right)+2\left(a+b+c+d-8\right)+2\left(a+b-c-d-1\right)+2\left(a+b-c-d-1\right)+2\left(a-b+c-d-2\right)+2\left(a-b+c-d\right)+2\left(a-b-c+d-3\right)+2\left(a-b-c+d-4\right)=0$

$2\left(a+b+c+d-6\right)+2\left(a+b+c+d-8\right)+2\left(a+b-c-d-1\right)+2\left(a+b-c-d-1\right)-2\left(a-b+c-d-2\right)-2\left(a-b+c-d\right)-2\left(a-b-c+d-3\right)-2\left(a-b-c+d-4\right)=0$

$2\left(a+b+c+d-6\right)+2\left(a+b+c+d-8\right)-2\left(a+b-c-d-1\right)-2\left(a+b-c-d-1\right)+2\left(a-b+c-d-2\right)+2\left(a-b+c-d\right)-2\left(a-b-c+d-3\right)-2\left(a-b-c+d-4\right)=0$

$2\left(a+b+c+d-6\right)+2\left(a+b+c+d-8\right)-2\left(a+b-c-d-1\right)-2\left(a+b-c-d-1\right)-2\left(a-b+c-d-2\right)-2\left(a-b+c-d\right)+2\left(a-b-c+d-3\right)+2\left(a-b-c+d-4\right)=0$

oder vereinfacht

$16a-50=0$

$16b-14=0$

$16c-14=0$

$16d-34=0$

was eine angepasste Funktion $z=\frac{25}{8}+\frac{7}{8}*x+\frac{7}{8}*y+\frac{17}{8}*x*y+\epsilon$, wobei $\epsilon$ ergeben würde. Wir halten hier fest, dass wir das Ergebnis aufgrund des vollen Rangs der Designmatrix und keiner zu hohen Multikollinearitäten eindeutig lösen konnten.

Beispiel 2: Nichtlineares Modell

Der Prädiktor $x$ und die Antwort $y$ nehmen die folgenden Werte an:

Das Modell ist $y=\mathrm{Sin}\left(\mathrm{Exp}\right(-\lambda *\mathrm{Exp}(\lambda *x)\left)\right)$, wobei $\epsilon$ der Fehlerterm ist. Als Summe der kleinsten Fehlerquadrate ergibt sich

${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *x_1\right)\right)\right)-y_1\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *x_2\right)\right)\right)-y_2\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *x_3\right)\right)\right)-y_3\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *x_4\right)\right)\right)-y_4\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *x_5\right)\right)\right)-y_5\right)}^2$

$=$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *1\right)\right)\right)-\mathrm{0,7804}\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *2\right)\right)\right)-\mathrm{0,7739}\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *3\right)\right)\right)-\mathrm{0,7667}\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *4\right)\right)\right)-\mathrm{0,7588}\right)}^2$$+$${\left(\mathrm{Sin}\left(\mathrm{Exp}\left(-\lambda *\mathrm{Exp}\left(\lambda *5\right)\right)\right)-\mathrm{0,75}\right)}^2$

Wenn wir den Funktionsgraphen der Summe der kleinsten Quadrate für den Parameter λ darstellen, sehen wir, dass es ein lokales Minimum zwischen 0 und 1 zu geben scheint.

Wir könnten also die erste Ableitung der Summe der Quadrate bilden und eine Nullstelle zwischen 0 und 1 suchen:

$2\left(-\lambda \exp \left(\lambda \right)-\exp \left(\lambda \right)\right)\exp \left(-\lambda \exp \left(\lambda \right)\right)\left(\sin \left(\exp \left(-\lambda \exp \left(\lambda \right)\right)\right)-\mathrm{0,7804}\right)\cos \left(\exp \left(-\lambda \exp \left(\lambda \right)\right)\right)$$+$$2\left(-2\lambda \exp \left(2\lambda \right)-\exp \left(2\lambda \right)\right)\exp \left(-\lambda \exp \left(2\lambda \right)\right)\left(\sin \left(\exp \left(-\lambda \exp \left(2\lambda \right)\right)\right)-\mathrm{0,7739}\right)\cos \left(\exp \left(-\lambda \exp \left(2\lambda \right)\right)\right)$$+$$2\left(-3\lambda \exp \left(3\lambda \right)-\exp \left(3\lambda \right)\right)\exp \left(-\lambda \exp \left(3\lambda \right)\right)\left(\sin \left(\exp \left(-\lambda \exp \left(3\lambda \right)\right)\right)-\mathrm{0,7667}\right)\cos \left(\exp \left(-\lambda \exp \left(3\lambda \right)\right)\right)$$+$$2\left(-4\lambda \exp \left(4\lambda \right)-\exp \left(4\lambda \right)\right)\exp \left(-\lambda \exp \left(4\lambda \right)\right)\left(\sin \left(\exp \left(-\lambda \exp \left(4\lambda \right)\right)\right)-\mathrm{0,7588}\right)\cos \left(\exp \left(-\lambda \exp \left(4\lambda \right)\right)\right)$$+$$2\left(-5\lambda \exp \left(5\lambda \right)-\exp \left(5\lambda \right)\right)\exp \left(-\lambda \exp \left(5\lambda \right)\right)\left(\sin \left(\exp \left(-\lambda \exp \left(5\lambda \right)\right)\right)-\mathrm{0,75}\right)\cos \left(\exp \left(-\lambda \exp \left(5\lambda \right)\right)\right)$

Im Gegensatz zum ersten Beispiel erhalten wir für die Nullstelle(n) der ersten Ableitung der Summe der Fehlerquadrate kein lineares Gleichungssystem. Wir können die Nullstelle also nicht beispielsweise mit dem Gauß-Algorithmus ermitteln. Wir müssen hier ein numerisches Verfahren heranziehen, für das wir einen Startwert vorgeben müssen. Wichtig ist, dass der Startwert geeignet gewählt wird. Hier sind zwei mögliche Ergebnisse. In dem einen Fall haben wir einen geeigneten Startwert für λ eingegeben, und der Wert für λ konvergiert gegen das lokale Minimum der Summe der Quadrate auf der oberen Grafik. In dem zweiten Beispiel haben wir einen nicht geeigneten Startwert für λ gefunden, und der Wert für λ konvergiert nicht gegen dieses lokale Minimum.

Anmerkung: In diesem Beispiel haben wir ein nichtlineares Modell gewählt, dass für diesen Datensatz vermutlich geeignet ist. Wenn das Modell nicht geeignet gewählt wird, kann es sein, dass die Fitparameter tatsächlich gegen ein lokales oder sogar globales Minimum der Summe der Fehlerquadrate konvergiert und der Fit trotzdem keine guten Prognosen für neue Beobachtungen innerhalb des Definitionsbereichs liefert.