Einfache lineare Regression - Finden der optimalen Steigung und y-Achsenabschnitt

Question

Aufgabe:

Einfache Lineare Regression - finden der optimalen steigung und y-achsenabschnitt

Problem/Ansatz:

Kann jemand kurz erklären wie man von den partiellen ableitungen nach w und nach b auf die unteren gleichungen kommt?

Werde diese gleichgesetzt? wenn ja wie? woher kommt 2bn?

gleichung und beide ableutungen sind klar nur die schritte danach nicht.

Text erkannt:

$r(x)=\sum \limits_{i=0}^{n}\left(y_{i}-\left(w x_{i}+b\right)\right)^{2}$
$\frac{\partial r}{\partial b}=\sum \limits_{i=0}^{n} 2\left(b+w x_{i}-y_{i}\right)=0$
$\frac{\partial r}{\partial w}=\sum \limits_{i=0}^{n} 2 x_{i}\left(b+w x_{i}-y_{i}\right)=0$
$2 b n+2 w \sum \limits_{i=0}^{n} x_{i}=2 \sum \limits_{i=0}^{n} y_{i}$
$2 \sum \limits_{i=0}^{n} x_{i} b+2 w \sum \limits_{i=0}^{n} x_{i}^{2}=2 \sum \limits_{i=0}^{n} x_{i} y_{i}$
$\left[\begin{array}{c}2 n \\ 2 \sum \limits_{i=0}^{n} x_{i}\end{array} 2 \sum \limits_{i=0}^{n} x_{i}\right] *\left[\begin{array}{l}b \\ w\end{array}\right]=\left[\begin{array}{c}2 \sum \limits_{i=0}^{n} x_{i}^{2} \\ 2 \sum \limits_{i=0}^{n} x_{i} y_{i}\end{array}\right]$

Comments

Kann jemand kurz erklären wie man von den partiellen ableitungen nach w und nach b auf die unteren gleichungen kommt?

gar nicht, weil das ist falsch! Es müsste $2b(n+1)$ heißen. Aber ich vermute, dass der Fehler schon in den Grenzen beim Index liegt. Gemeint ist wahrscheinlich$$r(x)= \sum\limits_{\color{red}i=1}^n (y_i-(wx_i +b))^2$$

---

Das soll ein am Ende ein Model werden das Vorhersagen treffen kann mittels der Regressionsgerade. Diese soll natürlich programmiert werden daher könnte ich mir denken, dass die i=0 korrekt ist da man beim programmieren mit 0 anfängt zu zählen.

Ich weiß aber nur nicht was er mit den 2 partiellen Ableitungen macht.. setzt er die gleich? und wie kommt er dann auf das gleichungssystem ganz unten? sorry bin neu in er materie

---

Diese soll natürlich programmiert werden daher könnte ich mir denken, dass die i=0 korrekt ist da man beim programmieren mit 0 anfängt zu zählen.

Dann musst Du aber auch bei $n-1$ wieder aufhören. Wenn es programmiert werden soll, dann existiert ein $x_n$ und ein $y_n$ nämlich gar nicht ;-)

Answer 1

Hallo und Willkommen in der Mathelounge,

ich gehe mal davon aus, dass die Indizes bei $i=1$ starten. Ansonsten wäre die Matrix unten falsch. Es ist$$\begin{aligned}\sum\limits_{i=1}^n 2(b + wx_i - y_i) &= 0\\ \sum\limits_{i=1}^n (2b + 2wx_i - 2y_i) &= 0\\\sum\limits_{i=1}^n 2b + \sum\limits_{i=1}^n2wx_i - \sum\limits_{i=1}^n2y_i &= 0 \\ 2b \underbrace{\sum\limits_{i=1}^n 1}_{n \,\text{mal}\,1} + 2w\sum\limits_{i=1}^nx_i - 2\sum\limits_{i=1}^ny_i &= 0\\ 2bn + 2w\sum\limits_{i=1}^nx_i &= 2\sum\limits_{i=1}^ny_i \\ bn + w\sum\limits_{i=1}^nx_i &= \sum\limits_{i=1}^ny_i \end{aligned}$$ein konstanter Faktor, der nicht vom Index abhängt, kann aus der Summe heraus gezogen werden.

Der zweite Teil geht im Prinzip genau so. Versuche es bitte mal selber.

Ich weiß aber nur nicht was er mit den 2 partiellen Ableitungen macht.. setzt er die gleich?

Nein - die sind zwar beide =0, also gleich, aber das wird nicht gemacht. Das Ziel ist es doch, die beiden Parameter $w$ und $b$ zu berechnen. Die Regressionsgerade hat die lineare Form $y(x)=wx+b$ und die ist gesucht. nach dem 'Auflösen' der Ableitungen bekommst Du zwei Gleichungen$$\begin{aligned}bn + w\sum\limits_{i=0}^{n-1}x_i &= \sum\limits_{i=0}^{n-1}y_i \\ b\sum\limits_{i=0}^{n-1}x_i + w \sum\limits_{i=0}^{n-1} x_i^2 &= \sum\limits_{i=0}^{n-1} x_i y_i\end{aligned}$$mit den beiden Unbekannten $b$ und $w$. Dies ist ein lineares Gleichungssystem, was sich i.A. lösen lässt. Das ist so wie$$\begin{aligned} ax + by &= e \\ cx+dy &= f\end{aligned} \quad\Leftrightarrow\quad \begin{pmatrix}a& b\\ c& d\end{pmatrix}\begin{pmatrix}x\\ y\end{pmatrix} = \begin{pmatrix}e\\ f\end{pmatrix}$$Das ist das gleiche, nur in einer anderen Schreibweise.

Falls Du noch Fragen hast, so melde Dich bitte.

Gruß Werner

Comments

Mach ich! Vielen Dank für die schnelle Hilfe

---

ich habe die Antwort noch mal erweitert.

---

Danke nochmals! Werde heute abend mich ran machen und versuchen die zweite nachvollzuziehen.

---

Habe dank dir beide Ableitungen selber korrekt ableiten und umstellen können.

Letzte Frage:

Da ja beide Gleichungen gleich null gesetzt waren suchen wir aus w und b (kombination) das Minimum.

Angenommen ich habe einen Datzensatz xi und yi mit i=20. Haben wir dann 20 mal diesen LGS wenn ja wir findet man perfekten w und b aus den 20 verschiedenen xi und yi?

Für xi und yi mit i=1 ist es klar da man nur ein LGS zu lösen hat.

Danke schon mal im voraus und frohe Festtage.

---

Die Betrachtung von überbestimmten LGS hat unser Tschakabumba mal ausführlich beleuchtet. Ich hab versucht das anschaulich umzusetzen

https://www.geogebra.org/m/ytftahyv

Du findest dort auch einen Link auf den Artikel hier...

---

Angenommen ich habe einen Datzensatz xi und yi mit i=20. Haben wir dann 20 mal diesen LGS

Nein - schau Dir doch die Herleitung oben an. Es gibt nirgendwo eine Beschränkung zur Größe von $n$. Also ob $n=20$ oder $n=200$ - das ist egal.

wenn ja wir findet man perfekten w und b aus den 20 verschiedenen xi und yi?

Genauso wie es oben steht. Die Eiemente der Matrix bzw. der rechten Seite des LGS sind die Summen(!) aus den einzelnen Werten und ihren Quadraten bzw. Produkten. Wieviele Summanden in so eine Summe eingehen spielt doch dabei zunächst keine Rolle,

Die Werte für $w$ und $b$ sind keineswegs 'perfekt', sondern nur die wahrscheinlichsten. Und immer beruhend auf den verfügbaren Daten!. Man bekommt auch bei 'schlechten' Daten Werte für $w$ und $b$. Aber erst der Korrelationskoeffizient sagt aus, wie gut oder schlecht die Daten einen linearen Zusammenhang beschreiben.

Für xi und yi mit i=1 ist es klar da man nur ein LGS zu lösen hat.

Keineswegs! Mit nur einem Wertepaar $(x,\,y)$ kannst Du keine linearen Zusammenhang 'zaubern'. Denke Dir einen beliebigen Wert für so ein Wertepaar und setze das in die obige Matrix ein. Du erhältst:$$\begin{pmatrix}1& x_1\\ x_1& x_1^2\end{pmatrix}\begin{pmatrix}b\\ w\end{pmatrix} = \begin{pmatrix}y_1\\ x_1y_1\end{pmatrix}$$Die Determinante der Matrix auf der linken Seite ist $=0$. D.h. es gibt für dieses Gleichungssystem i.A. keine Lösung.