Organisation
- rdanis@ethz.ch
- Jede Woche ein Moodle Quiz für 0.25 Binus, bei 70% Punkte
- Quiz Freitagmorgen freigeschaltet, bis nächsten Donnerstagabend lösen
LGS
Rang und Loesungsdiskussion
Rang Anzahl Element ungleich 0 in der Diagonalen
Rang Anzahl Variablen
- Verträglichkeit (KB) erfüllt -> genau eine Lösung
- nicht erfüllt -> keine Lösung
- Verträglichkeit (KB) erfüllt -> unendlich viele Lösungen
- nicht erfüllt -> keine Lösung
Tricks beim Eliminationsverfahren
- Zeilen vertauschen
- Spalten vertauschen (aufpassen! -> Reihenfolge der Variablen wird vertauscht; ist aber nützlich zur Rangbestimmung)
Matrizen
- Matrizen haben 2 Dimensionen
- Anzahl Zeilen
- Anzahl Spalten/Variablen
- Notation:
- Bei Vektoren lässt man die zweite Dimension weg
Matrizen addieren:
- geht nur wenn Matrizen gleiche Dimension haben
- Einträge individuell miteinander addieren
Matrixmultiplikation:
-
- Form: Zeilen mal Spalten
- Wir können 2 Matrizen , miteinander multiplizieren, d.h. existiert nur, wenn
- nur, wenn anzahl variablen = anzahl zeilen
- nicht kommutativ
Matrix-Vektor-Multiplikation:
- Matrix in Spalten “aufspalten”, jede Spalte mit einem Vektoreintrag multiplizieren, dann Zeilen der Matrixspalten (lineare Kombination) addieren -> Vektor
LGS als Matrixmultiplikation
- allgemein in der form , wobei Unbekannte und rechte Seite
LGS kann nur gelöst werden, wenn rechte Seite als lineare Kombination der Spalten von ausgeführt werden kann
Tipp: Überprüfen, ob Ergebnis Vielfaches von einer Spalte ist
Generell lässt sich ein LGS für jede rechte Seite nur dann lösen, wenn .
Transponierte
Die Transponierte ergibt sich durch Spiegelung von an der Hauptdiagonalen
Wenn gilt , dann heisst symmetrisch. ()
-> Dimensionen werden vertauscht ->
Inverse
Eine Matrix besitzt eine Inverse , wenn gilt:
- Einheitsmatrix auf Diagonalen sonst
-
-
Berechnung in der Serie 2
-
Inverse existiert nur wenn
- voller Rang
-
Berechnung Matrizen
-> existiert nur wenn Nenner (Determinante) -> immer überprüfen ()
- für Permutationsmatrizen gilt auch
Rechenregeln
- Beweis iii):
LU-Zerlegung
- Zerlegen matrix in Produkt aus unterer und oberer Dreiecksmatrix
- L protokolliert Gauss-Schritte mit negativen Vorzeichen
- Zeilenvertauschung in Permutationsmatrix (dort auch entsprechende Zeilen vertauschen)
- Zeilenvertauschung darf nur am Anfang stattfinden
- am Ende Matrix überprüfen! -> gibt es ?
Achtung!
LU-Zerlegung von
-> immer normalisieren!
Euklidische Norm
- Länge eines Vektors
- Wichtig für Normalisierung auf Länge 1:
Note
\begin{align} ||a\vec{x}||=|a|||\vec{x}|| && Für a\in \mathbb{R}, \vec{x}\in \mathbb{R}^n \end{align}
Nützliche Interpretation
Skalarprodukt
- Multiplikation zweier Vektoren:
- Zweite Interpretation:
Winkel to pi:
z.B. bei 0.64
| 0° | 0 | 1 | 0 |
| 30° | |||
| 45° | |||
| 60° | |||
| 90° | 0 | 1 |
Orthogonalität
- Zwei Vektoren sind orthogonal, wenn gilt
orthogonale Vektoren finden
Finde , sodass -> viele Möglichkeiten
Kreuzprodukt (in 3D)
Orthogonale Matrizen
- ist orthogonal, wenn gilt
- alle Spalten von sind orthogonal zueinander und haben Länge/Norm 1.
- orthogonale Matrizen haben immer vollen Rang
- orthogonale Matrizen verändern den Betrag von Vektoren nicht
Rotationsmatrizen
- Sepzielle orthogonale Matrizen die Vektoren rotieren
- in 2D:
- Immer, Drehung gegen Uhrzeigersinn
- Die Drehungsmatrix ist die Identitätsmatrix, mit der 2D-matrix in der zu drehenden Reihe
- In 3D können wir in der x-y, x-z und y-z Ebene drehen, z.B.
- ist auch orthogonal
- Wenn wir mehrere Rotationen in derselben Ebene hintereinander ausführen, dann können wir die Winkel addieren:
Householder-Matrozen
Spiegelung von Vektoren an einer Hyperebene
- Brauchen den Normalvektor der Ebene
QR-Zerlegung
- A wird in eine Multiplikation aus orthogonale Matrix
todo fertigschreiben
QR-Zerlegung mit householder Matrizen
-> wollen durch Spiegelung zwei Nullen in der ersten Spalte erzeugen
-> beide Vektoren haben gleiche Länge, 3 (ausrechnen!) -> , , spiegeln auf auch möglich
- Vektor zwischen x und gespiegelter Vektor:
-> am Schluss überprüfen, ob Matrix stimmen kann
-> noch Berechnen
- hier können wir die erste Spalte und Zeile unberührt lassen
AM Ende:
Q berechen
Für Q muss man transponieren
Prüfungsaufgabe:
->
Vektorräume
- Menge , abgeschlossen unter Addition und Multiplikation
Tip
Entweder beweisen, oder Gegenbeispiel finden (einfacher)
z.B. Ist ein Vektorraum?
Vektorräme erfüllen 7 zusätzliche Eigenschaften
- Geraden, Ebenen sind Vektorräume wenn sie den Ursprung enthalten
Bsp:
-> Enthält kein Nullvektor, V ist kein Vektorraum
Bsp: Menge aller symmetrischen Matrizen ()
Ist ein Vektorraum?
- Addition angeschlossen? -> ✔
- Multiplikation abgeschlossen? ✔
- Nullelement? Nullmatrix ist symmetrisch ✔
- Negatives Element? ✔
-> ist ein Vektorraum
5,6,7 müssen normalerweise nicht gezeigt werden, falls
Bem: Wenn und Vektorräume sind und , dann nennt man einen Unterraum von
ist ein Unterraum von .
Bsp: Vektorraume mit Funktionen als “Vektoren”:
(alle Polynome mit Grad 2 oder kleiner) -> Betrachtung von Funktionen als Vektoren erlaubt Verallgemeinerung von Konzepten wie Orthogonalität, Winkeln,
Lineare Kombination
- Summe von mit Skalaren multiplizierten Vektoren:
- z.b. Matrix-Vektor-Multiplikation
Dimension Vektorraum
- Minimale Anzahl Vektoren mittels der sich der gesamte Vektorraum via Linearkombinationen abbilden lässt
Bsp
Bsp nicht eindeutig
-> eine solche Ansammlung an Vektoren wird auch Erzeugendensystem genannt
Bild einer Matrix
- Raum, der durch die Spalten aufgespannt wird
Kern einer Matrix
Der Kern einer Matrix ist die Lösungsmenge der Gleichung
- Immer mindestens eine Lösung, den Nullvektor
- die Elemente des Kerns sind orhogonal zu den Zeilen von
Bsp:
-> da Rang Matrix und quadratisch => lässt sich eindeutig lösen =>
Bsp
-> Rang 2,
Warning
Wenn , dann haben Elemente des Bilds Dimension und Elemente des Kerns
timestamp 2024-10-24 Serie 5 letzte Aufgabe:
- eure Lösung im Moodle hochladen
- mathematisch korrekt und ordentlich arbeiten
- Problemstellung
- Was muss gezeigt werden
- Schritt für schritt logisch argumentieren
Serie 4, Aufgabe 11
Fixiere , fixiere -> Was sind und c?
Trick: nutzen, dass Vektor -> von links mit muliplizieren
ein Skalar, auch
-> setzen
da -> eindeutig
Lineare Unabhängigkeit
- sind linear unabhängig, wenn gilt
Lineare unabhängigkeit lässt isch durch das Lösen eines homogenen LGS überprüfen:
nur wenn eindeutig, dann sind linear unabhängig
Dimensionen
Es kann nicht mehr linear unabhängige Vektoren als die Dimension des Raumes geben
Wann sind 2 Vektoren linear abhängig?
-> wenn sie dieselbe “Richtung haben”
Bsp: ->
Spalten, Zeilen, Rang
- Anzahl linear unabhägiger Spalten
- =
- = Anzahl linear unabhängiger Zeilen A
Bsp
-> Rang =2, da 2 Zeilen unabhängig
Basis
- Erzeugendensystem aus linear unabhängigen Elementen heisst Basis
- Dimension von Anzahl Elemente in basis
Bsp
-> z muss in zweiten Eintrag 1 enthalten, um linear unabhängig zu sein und Basis mit zu bilden, z.B. .
Fundamentalsatz der linearen Algebra
Recap ()
daher:
- mit , dann:
- ,
- freie Variablen für LGS mit
- ,
-
-
-> Orthogonalität impliziert lineare Unabhängigkeit -> daraus folgt
-> unterschiedliche Dimensionen der Vektorelemente
Bsp:
rang=2
Welche Dimensionan haben die Elemente von ? -> Spalten haben 4 Komponenten -> Dimension 4 -> Spaltenraum spannt 2D Ebene in auf
Welche Dimensionen haben die Elemente von ? -> -> -> 3 Dimensionen
timestamp 2024-10-31
Koordinaten
- Elemente von Vetorräumen können mit unterschiedlichen Basen dargestellt werden
Basiswechsel
- Übergang von Koordinaten in Basis zu Koordinaten in Basis mit Matrix :
- Matrix T ist gegeben durch:
-> wir repräsentieren die Basisvektoren von in um die Spalten zu berechnen
Bsp:
Wir wandeln wie Koordinaten von B nach > -> T spaltenweise berechen
->
genau gleich: ->
die Übergangsmatrix:
-> am Ende: Sanity check
Basiswechsel einer Matrix
Gegeben Matrix mit Basis , wie sieht die Matrix in der Basis aus?
(Annahme, gleiche Basis)

-> Pfad enthält 3 Matrixen, die miteinander multiplizieren
Die Matrix, die zuerst angewendet wird, ist ganz rechts!
Lineare Abbildungen
- Abbildung zwischen zwei Vektorrämen :
- erfüllen:
- :
- :
Bsp:
F linear?
-> überprüfen, ob addition, multiplikation von skalar stimmt -> Ableitung ist eine lineare Abbildung
- jede lineare Abbildung lässt sich durch eine matrix beschreiben
- , wenn und , dann
- ,
FInde Matrix, die beschreibt!
Wie wirkt auf Basisvektoren?
-> F(1) = -> F(x) = …= 1 ->
Vorgehen:
- Wie wirkt auf jeden Basisvektor?
- Spaltenweise aufstellen
- da wir als Matrix beschreiben können, können wir auch Bild und Kern für lineare Abbildungen definieren
-> Ableitung von Konstanten ist 0
->
Prüfung HS 2024 Aufgabe
a)… b)… c) Gegeben seien im Urbildraum die Basis und im Bildraum die Basis . Welches ist die neue Matrix , die nach dem Basiswechsel beschreibt:
Aus b):
Einheitsbasis:
Wie stellen wir die Basisvektoren von in der EInheitsbasis dar?
ist Übergang von EInheitsbasis zu
-> Vektoren der Einheitsbasis in darstellen:
timestamp 2024-11-07
Norm und Skalarprodukt in linearen Räumen
Norm
- Funktionen :
- ( !!)
Bsp: p-Normen
- : euklidische Norm
- : Maximumsnorm
- :
Äquivalenz der Normen
Wenn und zwei Normen sind und , dann gilt:
-> ist eine Konstante
Bsp: Was ist für und
-> aber taugt nicht, weil möglich ist -> Brauchen Extremfall, wieviel maximal grösser als sein kann
- tritt ein wenn alle Einträge von gleich sind:
Bsp Ist eine Norm? -> mehrere Elemente können sein, z.B. jedes
Bsp eine Norm? i) ii) iii)
Skalarprodukt
Funktion mit 3 Eigenschaften:
Norm kann aus Skalarprodukt induziert werden:
Bsp euklidische Norm
Bsp Skalarprodukt über Matrix (A positiv-definit )
Bsp zu Skalarprodukten () Ist ein Skalarprodukt?
- Positiv definit?
-> kein Skalarprodukt
Note
- zuerst überlegen, ob es ein gegenbeispiel gibt
- mit kompliziertester eigenschaft anfangen, um Zeit zu sparen
Summen von Skalarprodukten mit Koeffizienten sind Skalarprodukte
Orthogonale Projektionen
- orthogonale Projektion von auf :
-> “Punkt auf y am nächsten zu x” -> Projektion auf y zum Punkt
Bsp abstand von funktionen
let
- Winkelberechnung über allgemeines Skalarprodukt:
\begin{align} B & = { b_{1},b_{2},b_{3} } & (\text{reihenfolge nicht eindeutig;}\ & & \text{Vektor auswählen, der am einfachsten ist})\ q_{1} & = \frac{b_{1}}{||b_{1}||} & (||q_{1}||=1) \ \ c_{2} & =b_{2} -b \left< b_{2},q_{1} \right> q_{1} \ q_{2} & =\frac{c_{2}}{||c_{2}||} & (\text{Komponente in Richtung q1 abgezogen}\to q_{1}\bot q_{2}) \ \ \dots \ \ c_{n} & = b_{n}-\sum_{i=1}^{n-1}\left< b_{n},q_{1} \right>q_{i} & \to q_{n}\bot q_{n-1},\dots,q_{1} \ q_{n}&=\frac{c_{n}}{||c_{n}||} \ \ \tilde{B}&={ q_{1},q_{2},\dots,q_{n} } & \text{(ist eine orthonrmale Basis)} \end{align}
\begin{align} A & = \begin{bmatrix} 1 & 1 \ 2 & 0 \ 0 & 2 \end{bmatrix} & A=QR \end{align}
\begin{align} q_{1}&=\frac{1}{\sqrt{ 5 }}\begin{bmatrix}1\2\0\end{bmatrix} \ c_{2}&=a_{2}-\left< a_{2},q_{1} \right>q_{1} \ & = \begin{bmatrix} 1\0\2 \end{bmatrix} - \left< \begin{bmatrix} 1\0\2 \end{bmatrix}, \frac{1}{\sqrt{ 5 }}\begin{bmatrix} 1\2\0 \end{bmatrix} \right>\frac{1}{\sqrt{ 5 }}\begin{bmatrix} 1\2\0 \end{bmatrix} \ & = \begin{bmatrix} 1\0\2 \end{bmatrix} - \frac{1}{5}\cdot 1 \cdot \begin{bmatrix} 1\2\0 \end{bmatrix} \ & = \frac{1}{5} \begin{bmatrix} 4\-2\10 \end{bmatrix} \ ||c_{2}|| & =\frac{1}{5}\sqrt{ 4^2+2^2+10^2 } = \frac{1}{5}\sqrt{ 120 } \ & = \frac{1}{5}\sqrt{ 4\cdot 30 } = \frac{2}{5} \sqrt{ 30 } \ q_{2}&=\frac{c_{2}}{||c_{2}||} = \frac{1}{2\sqrt{ 30 }} \begin{bmatrix} 4\-2\10 \end{bmatrix} \ & = \frac{1}{\sqrt{ 30 }}\begin{bmatrix} 2\-1\5 \end{bmatrix} \ \ Q & = \begin{bmatrix} q_{1} & q_{2} \end{bmatrix} = \begin{bmatrix} \frac{1}{\sqrt{ 5 }} & \frac{2}{\sqrt{ 30 }} \ \frac{2}{\sqrt{ 5 }} & -\frac{1}{\sqrt{ 30 }} \ 0 & \frac{5}{\sqrt{ 30 }} \end{bmatrix} \end{align}
2. Berechnung $R$ ($A=QR$) $R = \begin{bmatrix}q_{1}^\top a_{1}&q_{1}^\top a_{2}\\0& q_{2}^\top a_{2}\end{bmatrix}$ $= \begin{bmatrix} \sqrt{ 5 } & \frac{1}{\sqrt{ 5 }}\\0 & \frac{12}{\sqrt{ 30 }} \end{bmatrix}$ 3. Überprüfen\begin{bmatrix} 1 & 1\2 & 0\0 & 2 \end{bmatrix} = \begin{bmatrix} \frac{1}{\sqrt{ 5 }} & \frac{2}{\sqrt{ 30 }} \ \frac{2}{\sqrt{ 5 }} & -\frac{1}{\sqrt{ 30 }} \ 0 & \frac{5}{\sqrt{ 30 }} \end{bmatrix} \begin{bmatrix} \sqrt{ 5 } & \frac{1}{\sqrt{ 5 }}\0 & \frac{12}{\sqrt{ 30 }} \end{bmatrix}
-> hier ist $Q$ streng genommen keine orthogonale Matrix ### Projektoren - lineare Abbildung $P:V\to V$, für die gilt:P
P=P^\top\quad (\text{Matrix muss symmetrisch sein})
(dann gilt $x-Px ~\bot ~\text{Bild}~P$) **Bsp** $\begin{bmatrix}1&0&0\\0&1&0\end{bmatrix}$ -> $P^2=P$ Projektion? -> $P^2$ existiert nur wenn $P$ quadratisch -> nicht Projektor **Bsp**\begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix}\quad \text{Projektion?}
P^2 = \begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix} = \begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix} = P ~\checkmark
P Projektion orthogonal? $P=P^\top$ -> stimmt nicht ($1$ oben rechts verschiebt sich) -> nicht orthogonal #### Berechnung orthogonaler Projektoren #todo --- - Wenn $U.V$ zwei Matrizen mit $\underbrace{ V^\top U = I }_{ \text{spalten U orthonormal} }$, dann:P=UV^\top\quad (\text{ist schiefe Projektion auf Spaltenraum von U})
U=\begin{bmatrix} \frac{1}{\sqrt{ 2 }} & 0 \ 0 & 1 \ \frac{1}{\sqrt{ 2 }} & 0 \end{bmatrix}
Suchen $V$ mit $V^\top U = I$ - mehrere MöglichkeitenV=\begin{bmatrix} 0 & 0 & \sqrt{ 2 } \ 0 & 1 & 0 \end{bmatrix}
V^\top U = \begin{bmatrix} 1 & 0 \ 0 & 1 \end{bmatrix}
P=UV^\top = \dots=\begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix}
$P^2=P~\checkmark$ $P^\top=P~\times$ -> schiefe Projektion --- #todo ### Riesz Theorem Sei $F:V\to \mathbb{R}$ ein lineares FUnktional und $V$ Vektorraum - Funktional $\hat{=}$ von Vektorraum auf $\mathbb{R}$ 1. $\exists$ eindeutiges $w \in V$: $F(v)=\left< w,v \right>~~~\forall v \in V$ 2. Sei $b_{1}, b_{2},\dots,b_{n}$ ONB in $V$, dann $w=\overline{F(b_{1})}b_{1}+\dots$ **Bsp** $L(x.y)=2x+3y$ $L(x,y)=\left< \begin{bmatrix}x\\y\end{bmatrix},\begin{bmatrix}2\\3\end{bmatrix} \right>$ -> $w=\begin{bmatrix} 2 \\ 3\end{bmatrix}$ beschreibt $L$ eindeutig > #timestamp 2024-11-21 ## Ausgleichsrechung (Linear Regression) - Finde Funktion die Fehlersumme minimiertF^*(t)=\arg\min_{F} \sum_{i=1}^n (F(t_{i})-y_{i})
- Für unsere Zwecke ist $F(t)$ meist linear in $t$F(t)=x_{0}+x_{1}t~(+x_{2}t^2+x_{3}t
-> $x_{0},x_{1}$ sind gesuchte Parameter - Probleme in Matrix-Vektorform bringen:\vec{x}=\begin{bmatrix} x_{0}\x_{1} \end{bmatrix}, A=\begin{bmatrix} 1 & t_{1}\1 & t_{2}\\dots\1 & t_{n} \end{bmatrix}, b = \begin{bmatrix} y_{1}\y_{2}\\dots\setminus y_{n} \end{bmatrix}
A\vec{x}=\begin{bmatrix} x_{0}+x_{1}t_{1} \ \dots \ x_{0}+x_{1}t_{n} \end{bmatrix} = \begin{bmatrix} F(t_{1})\\dots\F(t_{n}) \end{bmatrix}
\sum_{i=1}^n (F(t_{i})-y_{i})^2 = ||Ax-b||
- Ziel finde oprimales $\hat{x}$\hat{x} = \arg\min_{x \in \mathbb{R}^n} ||Ax-b||
- optimale $\hat{x}$ erfüllen Normalengleichung (Herleitung im Skript)A^\top A \hat{x} = A^\top b
- eindeutige Lösung wenn $A$ vollen Spaltenrang hat => $A^\top A$ invertierbar:\hat{x} = (A^\top A)^{-1} A^\top b
> [!warning] Ansonsten gibt es $\infty$ Lösungen > > Normalengleichung hat niemals keine Lösung # Determinanten - Zahl, welche die Invertierbarkeit von quadratischen Matrizen charakterisiert: - $A \in ^{n\times n}$, $A^{-1}$ existiert genau dann wenn $\det(A)\neq0$ - Konsequenz: Für alle quadratischen Matrizen, die nicht vollen Rang haben, gilt $\det(A)=0$ **Bsp** 1. Determinante für $2\times2$ MatrizenA=\begin{bmatrix} a & b\c & d \end{bmatrix}, \det(A)=ad-bc
-> $A ^{-1}$ existiert 2. $2\times2$ ohne vollen RangB=\begin{bmatrix} 1 & -2\-3 & 6 \end{bmatrix}
-> $\det(B)=0$ -> $A^{-1}$ existiert nicht ## Regel von Sarrus für $3\times3$ MatrizenC = \begin{bmatrix} a & d & g\b & e & h\c & f & i \end{bmatrix}, \det(C) = aei+bfg+cdh-gec-hfa-idb
-> genauso aufwendig wie Regel 11 (entwicklung nach Spalte/Reihe), aber im gegensatz zu 11 nicht nützlich zur Berechnung vom charakteristischen Polynom ### Laplacescher Entwicklungssatz - Methode zur Berechnung der Determinante in beliebigen Dimensionen Für $n \times m$ Matrix, Entwicklung nach z.b. Spalte $m$:\det(A) = \sum_{i = 1}^n (-1)^{i+m} \cdot a_{im} \cdot \det(A_{im})
## rechenregeln Determinante 1. $A \in \mathbb{R}^{n\times n}, B \in \mathbb{R}^{n\times n}: \det(AB)=\det(A)\det(B)$ 2. $\det(A^{-1})=\frac{1}{\det(A)}$ 3. $A \in \mathbb{R}^{n\times n}, \alpha \in \mathbb{R}: \det(\alpha A)=\alpha^n\det(A)$ 4. $\det(A^\top)=\det(A)$ 1 -> orthogonale Matrix $Q^{-1}=Q^\top$ $\det(I)=1$ $\det(Q^\top Q)=\det(I)=1$ 1-> $\det(Q^\top)\det(Q)=1$ 4-> $\det(Q)\det(Q)=1$ $\det(Q)^2=1$ $\det(Q)=1$ oder $\det(Q)=-1$ > #timestamp 2024-11-28 # Eigenwerte und Eigenvektoren $A \in R^{n\times n}, x \in \mathbb{R}^n$ (quadratische Matrix): x ist Eigenvektor von $A$ mit Eigenwert $\lambda \in \mathbb{R}$, wenn gilt:Ax=\lambda x
- $\vec{0}$ ist kein Eigenvektor -> triviale Lösung - ein Eigenvektor hat nur einen Eigenwert / ein Eigenwert kann mehrere Eigenvektoren haben Berechnung:\begin{align} & Ax-\lambda x = \vec{0} \ & (A-\lambda I)x = \vec{0} \ \iff~ & \det(A-\lambda I) = 0 \end{align}
- $\det(A-\lambda I)$ gibt uns ein Polynom (in $\lambda$) von Grad $n$ und wird **charakteristisches Polynom** genannt ## Eigenräume Zu jedem Eigenwert $\lambda i$ gibt es einen zugehörigen Eigenraum $E_{\lambda i}$, der durch seine Eigenvektoren aufgespannt wird. **Bsp:** eigenwert $-6$ eigenvektor $\begin{bmatrix}24\\-3\\7\end{bmatrix}$ -> $E_{-6}=span(\begin{bmatrix}24\\-3\\7\end{bmatrix})$ -> Dimensionalität 1 ### Algebreische Vielfachheit eines Eigenwertes "wie oft der Eigenwert als Nullstelle des charakteristischen Polynoms vorkommt" - bei einer $A\in \mathbb{R}^{n\times n}$ maximal $n$ EW, ein Eigenwert hat algebraische Vielfachheit max $n$ **Bsp**A = \begin{bmatrix} 2 & 1\0 & 2 \end{bmatrix}
$\det(A-\lambda I) = (2-\lambda)(2-\lambda)$ -> EW 2 hat algebraische Vielfachheit $2$ ### Geometrische Vielfachheit eines Eigenwertes = dimension des zugehörigen Eigenraums1\leq \text{geometrische V.} \leq \text{algebraische V.}
-> zu jedem $EW$ gibt es mindestens ein Eigenvektor ## Diagonalisierbarkeit $A \in \mathbb{R}^{n\times n}$ und sei $D \in \mathbb{R}^{n\times n}$D = \begin{bmatrix} \lambda_{1} & & 0 \ & \dots & \ 0 & & \lambda_{n} \end{bmatrix}
A = SDS
S = \begin{bmatrix} v_{1} & v_{2} & \dots & v_{n} \end{bmatrix}
- "geordnet": Reihenfolge Eigenwerte in D $\hat{=}$ Reihenfolge EV in S - S kann nur aufgestellt werden, wenn $n$ Eigenvektoren - EV müssen nicht normalisiert sein --- A ist genau dann diagonalisierbar, wenn für jeden Eigenwert die algebraische Vielfachheit gleich der geometrischen VielfachheitA = \begin{bmatrix} 2 & 1\0 & 1 \end{bmatrix}, \lambda_{\frac{1}{2}}=2
-> $\dim\left( E_{\lambda_{\frac{1}{2}}} \right)=1$ -> AV=2,GV=1 -> nicht diagonalisierbar > [!note] > > Häufiger Fehlschluss: Invertierbarkeit und Diagonalisierbarkeit hängen miteinander zusammen > $$ > \begin{bmatrix}1 & 0\\0 & 0\end{bmatrix} > $$ > -> diagonalisierbar, aber nicht invertierbar > $$ > \begin{bmatrix}1 & 1\\0 & 1\end{bmatrix} > $$ > -> invertierbar, aber nicht diagonalisierbar > Diaogonalisierbarkeit von $A$ lässt keinen Schluss auf die Invertierbarkeit zu, umgekehrt genauso ### Charakteristisches Polynom lösen - Für Polynom mit Grad $\geq3$ können wir praktisch nicht die Nullstellen mit einer Formel berechnen -> wir müssen die ersten Nullstellen raten **Bsp**\det(A-\lambda I) = \lambda^3+4\lambda
-> oftmals ist eine Nullstelle gegeben durch 0,1 oder -1 -> einsetzen: (1) $1+4+1-6=0 \checkmark$ $\lambda_{1}=1$ Grad des Polynoms durch Polynomdivision reduzieren(x^3+4x^2+x-6):(x-1)=x
-> $\det(A-x I) = (x-1)(x^2+5+6)$ quadratische Funktion: -> Nullstellen $-2,-3$\det(A-xI) = (x-1)(x+3)(x+2)
### Nützliches zu Eigenwerten - Eigenvektoren von unterschiedlichen Eigenwerte sind linear unabhängig - die Determinante ist das Produkt der Eigenwerte\det(A)=\prod_{i=1}^n \lambda_{i}
=> $\det(A)=0$ wenn $0$ ein Eigenwert ist - für Dreiecksmatrizen (egal ob untere oder obere) sind die Einträge auf der Hauptdiagonalen gleich den Eigenwerten\begin{bmatrix} 1 & 2 & 3 & 4 \ 0 & 5 & 6 & 7 \ 0 & 0 & 8 & 9 \ 0 & 0 & 0 & 10 \end{bmatrix} \to \lambda_{1}=1,\lambda_{2} = 5, \lambda_{3} = 8, \lambda_{4}=10
A = \begin{bmatrix} 1 & 4\2 & 3 \end{bmatrix}
\begin{align} \det(A_{\lambda I}) & = (1-\lambda)(3-\lambda) - 8 \ & = \lambda^2-4\lambda - 5 \ & = (\lambda -1)(\lambda - 4) \end{align}
$\lambda_{1}=5, \lambda_{2}=1$ $\lambda_{1}\cdot\lambda_{2}=-5$ $\det(A)=3-8=-5 \checkmark$ --- $\lambda_{1}+\lambda_{2}=4$ $A=\begin{bmatrix}1&4\\2&3\end{bmatrix}\to 1+3=4$ > #timestamp 2024-10-05 ### Serie 10: Letzte Aufgabe Normale Matrizen ($A^\top A = AA^\top$) haben orthogonale Eigenvektoren Bedeutet:\begin{align} Av_{1}=\lambda_{1}v_{1} \ Av_{2}=\lambda_{2}v_{2} \ \ \lambda_{1} \neq \lambda_{2} \implies v_{1}^\top v_{2}=0 \end{align}
Beweisidee: Zeigen, das $A$ und $A^\top$ gleiche $EW$ mit gleichen $EV$ haben. -> dann gilt:\begin{align} (Av_{1})^\top v_{2} & = \lambda_{1}v_{1}^\top v_{2} \ (Av_{1})^\top v_{2} & = v_{1}^\top A^\top v_{2} = v_{1} \lambda_{2} v_{2} \ \lambda_{1}v_{1}^\top v_{2} & = \lambda_{2} v_{1}^\top v_{2} \implies v_{1}^\top v_{2} = 0\quad \square \end{align}
--- Wie zeigen, dass $A$ und $A^\top$ gleiche EW und EV haben? -> Für EW einfach:\begin{align} \det(A-\lambda I) & = \det((A-\lambda I)^\top) \ & = \det(A^\top - \lambda I) \end{align}
\underbrace{ (A-\lambda I) }{ B }v = \vec{0}\quad \text{und}\quad \underbrace{ (A^\top - \lambda I) }{ B^\top }v=\vec{0}
BB^\top = B^\top B\quad \text{selbst überprüfen}
--- -> Hinweis: für normale Matrizen haben $B$, $B^\top$ den gleichen Kern (Beweis in der Musterlösung) also haben $Bv=\vec{0}$ und $B^\top v = \vec{0}$ gleiche Lösung -> $A$ und $A^\top$ haben gleiche EV ## Spektralsatz Symmetrische Matrizen (können immer diag.) haben orthogonale Eigenvektoren und lassen sich durch orthogonale Matrizen diagonalisieren:A=UDU
- Die Spalten von $U$ sind **normierte** Eigenvektoren, D ist eine Diagonalmatrix mit EigenvektorenU = \begin{bmatrix} u_{1}, u_{2},\dots,u_{n} \end{bmatrix}, D = \begin{bmatrix} \lambda_{1} & & 0 \ & \ddots & \ 0 & & \lambda_{n} \end{bmatrix}
- Wenn $A$ symmetrisch, dann können wir es als Summe von orthogonalen Projektionen schreibenA = \sum_{i=1}^n \lambda_{i}u_{i}u_{i}
A = \begin{bmatrix}
1 & 4\4 & 1
\end{bmatrix} \to \text{relativ einfach:}v_{1}=\begin{bmatrix}
1\1
\end{bmatrix} \text{EV mit EW}\lambda_{1}=5
\begin{align} A & = \frac{1}{\sqrt{ 2 }}\begin{bmatrix}1&1\1&-1\end{bmatrix}\begin{bmatrix}5&0\0&-3\end{bmatrix} \frac{1}{\sqrt{ {2} }}\begin{bmatrix}1&1\1&-1\end{bmatrix} \ & = 5u{1}u_{1}^\top -3 u_{2}u_{2}^\top \ \ \ & = \frac{5}{2} \begin{bmatrix} 1\1 \end{bmatrix}\begin{bmatrix} 1 & 1 \end{bmatrix} - \frac{3}{2} \begin{bmatrix} 1\-1 \end{bmatrix}\begin{bmatrix} 1 & -1 \end{bmatrix} = \begin{bmatrix} 1 & 4\4 & 1 \end{bmatrix}~\checkmark \end{align}
## Definitheit Eine symmetrische Matrix $A \in \mathbb{R}^{n\times n}$ ist **positiv definit**, wenn gilt: 1. $x^\top Ax\geq 0$, $\forall x \in \mathbb{R}^n$ 2. $x^\top Ax = 0 \implies x = \vec{0}$ - Falls nur $1$ erfüllt, dann ist $A$ **positiv semi-definit** - Positiv definit: $EW>0$ - Positive-semi-definit: $EW\geq 0$ - nützlicher Trick -> gilt nicht nur für symm. M.\begin{align} x^\top Ax = \sum_{i=1}^n \sum_{j=1}^n x_{i}A_{ij}x_{j} \ \text{auch möglich:} \ y^\top Ax = \sum_{i=1}^n \sum_{j=1}^n y_{i}A_{ij}x_{j} \end{align}
A = \sum_{k=1}^n \lambda_{k}v_{k}v_{k}
-> jede $x \in \mathbb{R}^n$ kann als lin.komb. von $v_{1},\dots,v_{n}$ gebildet werden\begin{align} x & = \sum_{i=1}^n a_{i}v_{i} \ Ax & = \sum_{i=1}^n a_{i} A\vec{v_{i}} = \sum_{i=1}^n a_{i} \lambda_{i} \vec{v_{i}} \ x^\top Ax & = \left( \sum_{j=1}^n a_{i} \vec{v_{i}} \right)^\top \left( \sum_{i=1}^n a_{i}\lambda_{i}\vec{v_{i}} \right) \ & = \sum_{j=1}^n\sum_{i=1}^n a_{j}a_{i} \lambda_{i} \vec{v_{j}}^\top \vec{v_{i}} \ & \to\text{ EV sind orthogonal} \ & =\sum_{i=1}^n a_{i}^2 \lambda_{i} \end{align}
-> $\forall x: x^\top A x \geq 0 \iff \lambda_{i} \leq 0~\forall i$ --- **Bsp**\begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}
positiv definit? nicht invertierbar -> mind. 1x eigenwert u -> A hat Rang $1$ -> also $\det(A)=1$ -> $\lambda_{1}=0$v_{1} = \begin{bmatrix} 1\-1 \end{bmatrix} \to v_{2} \bot v_{1} \to v_{2} = \begin{bmatrix} 1\1 \end{bmatrix}
$Av_{2} = \begin{bmatrix}6\\6\end{bmatrix} \to \lambda_{2}=6$ -> A positiv semi-definit --- ### Prüfungsaufgabe HS 18\begin{bmatrix} 2 & 1 & 1\1 & 1 & 2\1 & 2 & 1 \end{bmatrix}
-> symmetrisch -> EW orthogonal Zeilensumme $4$ überall $\to$ $\lambda_{1}=4$ --- Musterlösung:\begin{align} \det(A-\lambda I) = \det \begin{bmatrix} 2-\lambda & 1 & 1\1 & 1-\lambda & 2\1 & 2 & 1-\lambda \end{bmatrix} \ & = (2-\lambda)(1-\lambda)^2 + 2 + 2 - (1-\lambda)-4 (2-\lambda) - (1-\lambda) \ & = (2-\lambda) (1-\lambda)^2 + 6\lambda - 6 \ & = (2-\lambda) (1-\Lambda)^2 - 6 (1-\lambda) \ & = (1-\lambda) ((2-\lambda)(1-\lambda)-6) \ & \to \lambda_{1} = 1 \ & = (1-\lambda) (\lambda^2-3\lambda + 2 - 6) \ & = (1-\lambda) (\lambda^2 - 3\lambda - 4) \ & \to \text{Trick:~} \lambda_{2} + \lambda_{3} = -(-3) \ & \lambda_{2} \lambda_{3} = -4 \end{align}
-> $\lambda_{2}=-1$, $\lambda_{3}=4$ (indefinit) EV berechnen: - $\lambda_{1}=1$\begin{bmatrix} 2-1 & 1 & 1\1 & 1-1 & 2 \1 & 2 & 1-1 \end{bmatrix}
- Matrix muss Rang $2$ haben, weil nur eine freie Variable möglich - $x_{3}$ ist frei II $x_{1}=-2x_{3}$ II in I: $x_{2}=x_{3}$ $v_{1}=\begin{bmatrix}-2\\1\\1\end{bmatrix}$ $\lambda_{2}=-1$ -> $v_{2}=\begin{bmatrix}0\\1\\-1\end{bmatrix}$ $\lambda_{3}=4$ -> $v_{3}=\begin{bmatrix}1\\1\\1\end{bmatrix}$ evtl: $v_{1},v_{2}\to v_{3}$ über kreuzprodukt b) Bestimme eine orthonormale Basis aus den EV -> Eigenvektoren normieren $b_{1} = \frac{1}{\sqrt{ 6 }}\begin{bmatrix}-2\\1\\1\end{bmatrix}, b_{2}=\frac{1}{\sqrt{ 2 }}\begin{bmatrix}0\\1\\-1\end{bmatrix}, b_{3}=\frac{1}{\sqrt{ 3 }}\begin{bmatrix}1\\1\\1\end{bmatrix}$ c) berechnee^A = \lim_{ n \to \infty } \sum_{n=0}^N \frac{1}{n!}A
\begin{align} A & = UDU^\top \ A^2 & = UDU^\top U D U^\top = U D^2 U^\top \ A^n & = U D^n U^\top \end{align}
\implies D = \begin{bmatrix} 1 & 0 & 0\0 & -1 & 0 \ 0 & 0 & 4 \end{bmatrix}, D^n = \begin{bmatrix} 1^n & 0 & 0\0 & (-1)^n & 0 \ 0 & 0 & 4^n \end{bmatrix}
\begin{align} e^A & = \lim_{ \mathbb{N} \to \infty } \sum_{n=0}^N \frac{1}{n!} A^n \ & = \lim_{ N \to \infty } \sum_{n=1}^N \frac{1}{n!} UD^nU^\top \ & = U \left( \lim_{ N \to \infty } \sum_{n=0}^N \frac{D^n}{n!} \right) U^\top \ & = U \left( \lim_{ N \to \infty } \begin{bmatrix} \sum_{n=0}^N \frac{1^n}{n!}&0&0\0&\sum_{n=0}^N \frac{(-1)^n}{n!}&0\0&0&\sum_{n=0}^N \frac{4^n}{n!} \end{bmatrix} \right)U^\top \end{align}
da: $e^x = \lim_{ N \to \infty } \sum^N_{n=0} \frac{x^n}{n!}$= U (\begin{bmatrix} e^1 & 0 &0\0 & e^{-1}&0\0&0&e^4 \end{bmatrix}) U
> #timestamp 2024-12-12 # Singulärwertszerlegung (SVD) - $A\in \mathbb{R}^{m\times n}$ beliebig, dann gibt es zwei orthogonale Matrizen $U\in \mathbb{R}^{m\times m}, V\in \mathbb{R}^{m\times m}$ sodass:A = U\Sigma V
wobei $\Sigma = diag(\sigma_{1}, \sigma_{2},\dots,\sigma_{p})\in R^{m\times n}$ - $\sigma_{1},\dots,\sigma_{p}$ sind **SIngulärwerte** von A - $\sigma_{1}\geq\dots\geq\sigma_{p}\geq_{0}$ der Grösse nach geordnet **Bsp**\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}
wobei $\sigma_{1}=\sqrt{ 6 }, \sigma_{2}=0$ - U,V haben normierte, orthogonale Spalten ### Berechnung SVD 1. Singulärwerte sind Wurzeln der EW von $A^\top A$ und $AA^\top$ - immer Matrix auswählen, die kleiner ist **Bsp**\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix}
-> $A^\top A \in \mathbb{R}^{2\times2}$, $AA^\top \in \mathbb{R}^{3\times3}$ -> EW von $A^\top A$ sind einfacher zu berechnenA^\top A = \begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}
\det(A^\top A - \lambda I) = (3-\lambda)^2 -9 = \lambda(\lambda-6)
$\lambda_{1}=0, \lambda_{2}=6$ $\sigma_{1}=\sqrt{ 6 }, \sigma_{2}=0$ -> nach Grösse ordnen!\Sigma = \begin{bmatrix} \sqrt{ 6 } &. \. & 0\ .&. \end{bmatrix}
-> hat immer gleiche Dimensionen wie $A$! 2. Spalten von $U$ sind EV von $AA^\top$, Spalten von $V$ sind $EV$ von $A^\top A$ - Nützlich:\begin{align} u_{i}^\top A v_{i} & = \sigma_{i} \ \
u_{i} & = \frac{Av_{i}}{\sigma_{i}} \ v_{i} & = \frac{A^\top u_{i}}{\sigma_{i}} \end{align}
A^\top A = \begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}
-> Spalten von $V$ (=EV von $A^\top A$) sind einfacher zu berechnen, weil $V \in R^{2\times2}$, und $U\in \mathbb{R}^{3\times3}$ > [!warning] Vorsicht: $\lambda_{i} = \sigma_{i}^2$ > **Berechnung $V$** $(A^\top A-\lambda_{1}I)x=\vec{0}$ -> Rang 1 -> $x_{1}=x_{2}$ -> Normierter EV: $v_{1}=\frac{1}{\sqrt{ 2 }}\begin{bmatrix}1\\1\end{bmatrix}$ -> da $A^\top A$ symmetrisch: $v_{2} \bot v_{1}$ $v_{2} = \frac{1}{\sqrt{ 2 }}\begin{bmatrix}1\\-1\end{bmatrix}$V = \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}
-> muss noch transponiert werden, in unserem Beispiel schon symmetrisch **Berechnung $U$** - 2. Singulärwert is $0$ -> kann nicht über Formel berechnet werden, aber Spalten müssen orthogonal sein -> kann aus $u_{1}$ berechnet werden) - Aber brauchen $u_{2}\bot u_{1}$ und $u_{3}\bot u_{1},u_{2}$ - für $u_{3}$ kann man das Gram-Schmidt-Verfahren oder (in 3D) das Kreuzprodukt verwenden\begin{align} u_{1} & = \frac{Av_{1}}{\sigma_{1}} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} \frac{1}{\sqrt{ 2 }} \begin{bmatrix} 1\1 \end{bmatrix} = \dots = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 }\\sqrt{ 2 }\\sqrt{ 2 } \end{bmatrix} \ u_{2} & = \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1\-1\0 \end{bmatrix} = \frac{1}{\sqrt{ 6 }}\begin{bmatrix} \sqrt{ 3 }\-\sqrt{ 3 } \0 \end{bmatrix} \ u_{3} & = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} 1\1\-2 \end{bmatrix} \end{align}
-> $v_{3}$ hier von der Norm her geraten #todo: üben, orthogonale Vektoren von Hand erkennenU = \frac{1}{\sqrt{ 6 }}\begin{bmatrix} \sqrt{ 2 } & \sqrt{ 3 } & 1\ \sqrt{ 2 } & -\sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}
\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}
- wir können $A$ immer als Summe von Rang 1 Matrizen schreiben:A = \sum_{i=1}^n \sigma_{i}u_{i}v_{i}
- "Anzahl SIngulärwerte > 0" = Rang $r$\begin{align} A &= \sqrt{ 6 } v_{1} v_{1}^\top \ & = \sqrt{ 6 } \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 }\\sqrt{ 2 }\\sqrt{ 2 } \end{bmatrix} \frac{1}{\sqrt{ 2 }} \begin{bmatrix} 1 & 1 \end{bmatrix} \ & = \begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} \end{align}
**Bsp 2**: SVD von $A=\begin{bmatrix}1&2&3\end{bmatrix} \in \mathbb{R}^{1\times3}$ $U\in \mathbb{R}^{1\times 1}$, $V\in \mathbb{R}^{3\times 3}$ - Singulärwerte berechnen von $AA^\top \in \mathbb{R}^{1\times 1}$ einfacher ($A^\top A\in \mathbb{R}^{3\times3}$) $\det(AA^\top- \lambda I)=14-\lambda \to \sigma_{1}=\sqrt{ 14 }$\Sigma = \begin{bmatrix} \sqrt{ 14 } & 0 & 0 \end{bmatrix}
--- $U$ trivial: $U=1$ ( oder $-1$) --- Berechnung $V$: - wir müssen wieder $v_{2} \bot v_{1}$, da nur ein EW - $v_{3}$ mit Kreuzprodukt, Gram-Schmidt, oder Überlegung: $v_{3}\bot v_{2},v_{1}$\begin{align} v_{1} & = \frac{A^\top u_{1}}{\sigma_{1}} = \frac{1}{\sqrt{ 14 }} \begin{bmatrix} 1\2\3 \end{bmatrix} \ v_{2} & = \frac{1}{\sqrt{ 5 }} \begin{bmatrix} -2\1\0 \end{bmatrix} \ v_{3} & = \begin{bmatrix} 1\2\-\frac{5}{3} \end{bmatrix} = \frac{1}{\sqrt{ 70 }}\begin{bmatrix} 3\6\-5 \end{bmatrix} & 1,2~\text{um orthogonal zu}~v_{2}, -\frac{5}{3} ~\text{für}~v_{1} \ & \left( v_{3}’=\frac{1}{3}\cdot \text{normiert} \begin{bmatrix} 3\6\-5 \end{bmatrix} \right) \end{align}
für $v_{3}$: erste zwei Einträge, um orthogonal zu $v_{2}$. Für 3. kreuzprodukt: $1*1+2*2+z*3=0$ -> $z=-\frac{5}{3}$V = \begin{bmatrix} \frac{1}{\sqrt{ 14 }} & -\frac{2}{\sqrt{ 5 }} & \frac{3}{\sqrt{ 70 }} \ \frac{2}{\sqrt{ 14 }} & \frac{1}{\sqrt{ 5 }} & \frac{6}{\sqrt{ 70 }} \ \frac{3}{\sqrt{ 14 }} & 0 & -\frac{5}{\sqrt{ 70 }} \end{bmatrix}
> [!warning] nicht vergessen, $V$ zu transponieren >\begin{align} A = U\Sigma V^\top \end{align}
> [!note] Wenn $A$ eine quadratische Matrix ist, dann sind die Singulärwerte von $A$ gleich den Beträgen der Eigenwerten von $A$. > ### Ausgleichsrechnung mit SVD - Erinnerung: suchen $x \in \mathbb{R}^n$ das folgenden Ausdruck minimiert:||Ax-b||_{2}
A^\top Ax=A^\top b
\begin{align} ||Ax-b||{2}^2 & = ||U\Sigma V^\top x - UU^\top b ||{2}^2 & ||Ux||{2}^2 = ||x||{2}^2~\text{für U orthogonal}\ & = ||\Sigma V^\top x - U^\top b ||_{2}^2 \end{align}
\begin{align} & = ||\begin{bmatrix} \Sigma_{r} & 0\0 & 0 \end{bmatrix}\begin{bmatrix} v_{1}^\top\v_{2^\top} \end{bmatrix} x - \begin{bmatrix} U_{1}^\top\U_{2}^\top \end{bmatrix}b || {2}^2 \ & = ||\Sigma{r}v_{1}^\top x - U_{1}^\top b ||{2}^2 + ||U{2}^\top b ||_{2}^2 \end{align}
-> minimal für $\Sigma_{r}V_{1}^\top x = U^\top_{1}b$x = V_{1}\Sigma_{r}^{-1}U_{1}^\top b
\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}
b = \begin{bmatrix} 1\2\1 \end{bmatrix}
Finde $x$, sodass $||Ax-b||_{2}$ minimal:\begin{align} \Sigma_{r} & = \sqrt{ 6 }, v_{1} = \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1\1 \end{bmatrix}, u_{1}^\top = \frac{1}{\sqrt{ 6 }}\begin{bmatrix} \sqrt{ 2 } & \sqrt{ 2 } & \sqrt{ 2 } \end{bmatrix}, \Sigma_{r}^{-1}=\frac{1}{\sqrt{ 6 }} \ \ x & = v_{1}\Sigma_{r}^{-1}U_{1}^\top b = \dots = \frac{2}{3} \begin{bmatrix} 1\1 \end{bmatrix} \end{align}
--- > [!note] > > Lösung $x=V_{1}\Sigma_{r}^{-1}U_{1}^\top b$ ist nicht unbedingt einzige Lösung, aber hat minimale euklidische Norm unter allen Lösungen $||x||_{2}$ minimal. Vergleich mit Normalengleichung:A^\top A = \begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}, A^\top b = \begin{bmatrix} 4\4 \end{bmatrix}
Normalengleichung: $A^\top Ax = A^\top b$\begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}\begin{bmatrix} x_{1}\x_{2} \end{bmatrix} = \begin{bmatrix} 4\4 \end{bmatrix}
$3x_{1}3x_{2}=4\to x_{1}=\frac{4}{3}-x_{2}$x = \begin{bmatrix} \frac{4}{3}-t\t \end{bmatrix} = \begin{bmatrix} \frac{4}{3}\0 \end{bmatrix} + t \begin{bmatrix} -1\1 \end{bmatrix}
$||x||_{2}=\left( \frac{4}{3}-t \right)^2+t^2 = 2t^2+\frac{8}{3}t+\frac{16}{9}$\frac{\delta}{\delta t}||x||_{2} = 4t-\frac{8}{4} \stackrel{!}{=}0
für minimale Form => $t = \frac{2}{3}$ $x = \frac{2}{3} \begin{bmatrix}1\\1\end{bmatrix}$ -> liefert gleiche Lösung ### Moore-Penrose Pseudoinverse - Pseudoinverse $A^{\dagger}$ kann mit $SVD$ berechnet werden:A = U\Sigma V^\top \to A^{\dagger} = V\Sigma ^{\dagger} U
\Sigma^{\dagger} = \begin{bmatrix} \frac{1}{\sigma_{1}} & 0 & 0 \ 0 & \frac{1}{\sigma_{2}} & 0 \ 0 & 0 & \ddots \end{bmatrix}
-> wenn $\sigma_{i}=0$, dann $\frac{1}{\sigma_{1}}=0$ einfach bei $0$ lassen - Eigenschaften: $A\in \mathbb{R}^{m\times n}\implies A^\top \in \mathbb{R}^{n\times n}$ 1. $AA^{\dagger} A = A$ 2. $A^{\dagger} A A^{\dagger} = A^{\dagger}$ > [!warning] $A^{\dagger} A = I$ gilt aber nicht! > Falls $A^{-1}$ existiert: $A^{\dagger}=A^{-1}$ --- **Bsp**\begin{align} \begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix} \end{align}
A^+ = V\Sigma^+ U^\top = \frac{1}{\sqrt{ 2 }} \begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix} \begin{bmatrix} \frac{1}{\sqrt{ 6 }} & 0 & 0\0 & 0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & \sqrt{ 2 } & \sqrt{ 2 } \ \sqrt{ 3 } & -\sqrt{ 3 } & 0 \ 1 & 1 & -2 \end{bmatrix} = \dots = \frac{1}{6} \begin{bmatrix} 1 & 1 & 1\1 & 1 & 1 \end{bmatrix}
x = A
A^{\dagger} = \frac{1}{6} \begin{bmatrix} 1 & 1 & 1\1 & 1 & 1 \end{bmatrix}, b = \begin{bmatrix} 1\2\1 \end{bmatrix}
x = A^{\dagger} b = \frac{2}{3} \begin{bmatrix} 1\1 \end{bmatrix}\quad \checkmark
### Matrixnormen mit SVD: - Spektralnorm:||A||{2} = \max{x\neq0} \frac{||Ax||}{||x||} = \sigma_{1}