Organisation

LGS

Rang und Loesungsdiskussion

Rang Anzahl Element ungleich 0 in der Diagonalen

Rang Anzahl Variablen

  • Verträglichkeit (KB) erfüllt -> genau eine Lösung
  • nicht erfüllt -> keine Lösung
  • Verträglichkeit (KB) erfüllt -> unendlich viele Lösungen
  • nicht erfüllt -> keine Lösung

Tricks beim Eliminationsverfahren

  • Zeilen vertauschen
  • Spalten vertauschen (aufpassen! -> Reihenfolge der Variablen wird vertauscht; ist aber nützlich zur Rangbestimmung)

Matrizen

  • Matrizen haben 2 Dimensionen
    • Anzahl Zeilen
    • Anzahl Spalten/Variablen
  • Notation:
  • Bei Vektoren lässt man die zweite Dimension weg

Matrizen addieren:

  • geht nur wenn Matrizen gleiche Dimension haben
  • Einträge individuell miteinander addieren

Matrixmultiplikation:

    1. Form: Zeilen mal Spalten
  • Wir können 2 Matrizen , miteinander multiplizieren, d.h. existiert nur, wenn
    • nur, wenn anzahl variablen = anzahl zeilen
  • nicht kommutativ

Matrix-Vektor-Multiplikation:

  • Matrix in Spalten “aufspalten”, jede Spalte mit einem Vektoreintrag multiplizieren, dann Zeilen der Matrixspalten (lineare Kombination) addieren -> Vektor

LGS als Matrixmultiplikation

  • allgemein in der form , wobei Unbekannte und rechte Seite

LGS kann nur gelöst werden, wenn rechte Seite als lineare Kombination der Spalten von ausgeführt werden kann

Tipp: Überprüfen, ob Ergebnis Vielfaches von einer Spalte ist

Generell lässt sich ein LGS für jede rechte Seite nur dann lösen, wenn .

Transponierte

Die Transponierte ergibt sich durch Spiegelung von an der Hauptdiagonalen

Wenn gilt , dann heisst symmetrisch. ()

-> Dimensionen werden vertauscht ->

Inverse

Eine Matrix besitzt eine Inverse , wenn gilt:

  • Einheitsmatrix auf Diagonalen sonst
  • Berechnung in der Serie 2

  • Inverse existiert nur wenn

    • voller Rang
  • Berechnung Matrizen

-> existiert nur wenn Nenner (Determinante) -> immer überprüfen ()

  • für Permutationsmatrizen gilt auch

Rechenregeln


  • Beweis iii):

LU-Zerlegung

  • Zerlegen matrix in Produkt aus unterer und oberer Dreiecksmatrix
  • L protokolliert Gauss-Schritte mit negativen Vorzeichen
  • Zeilenvertauschung in Permutationsmatrix (dort auch entsprechende Zeilen vertauschen)
  • Zeilenvertauschung darf nur am Anfang stattfinden
  • am Ende Matrix überprüfen! -> gibt es ?

Achtung!

LU-Zerlegung von

-> immer normalisieren!

Euklidische Norm

  • Länge eines Vektors
  • Wichtig für Normalisierung auf Länge 1:

Note

\begin{align} ||a\vec{x}||=|a|||\vec{x}|| && Für a\in \mathbb{R}, \vec{x}\in \mathbb{R}^n \end{align}

Nützliche Interpretation

Skalarprodukt

  • Multiplikation zweier Vektoren:
  • Zweite Interpretation:

Winkel to pi:

z.B. bei 0.64

0°010
30°
45°
60°
90°01

Orthogonalität

  • Zwei Vektoren sind orthogonal, wenn gilt

orthogonale Vektoren finden

Finde , sodass -> viele Möglichkeiten

Kreuzprodukt (in 3D)

Orthogonale Matrizen

  • ist orthogonal, wenn gilt
  • alle Spalten von sind orthogonal zueinander und haben Länge/Norm 1.
  • orthogonale Matrizen haben immer vollen Rang
  • orthogonale Matrizen verändern den Betrag von Vektoren nicht

Rotationsmatrizen

  • Sepzielle orthogonale Matrizen die Vektoren rotieren
  • in 2D:
  • Immer, Drehung gegen Uhrzeigersinn
  • Die Drehungsmatrix ist die Identitätsmatrix, mit der 2D-matrix in der zu drehenden Reihe
    • In 3D können wir in der x-y, x-z und y-z Ebene drehen, z.B.
  • ist auch orthogonal
  • Wenn wir mehrere Rotationen in derselben Ebene hintereinander ausführen, dann können wir die Winkel addieren:

Householder-Matrozen

Spiegelung von Vektoren an einer Hyperebene

  • Brauchen den Normalvektor der Ebene

QR-Zerlegung

  • A wird in eine Multiplikation aus orthogonale Matrix

todo fertigschreiben

QR-Zerlegung mit householder Matrizen

-> wollen durch Spiegelung zwei Nullen in der ersten Spalte erzeugen

-> beide Vektoren haben gleiche Länge, 3 (ausrechnen!) -> , , spiegeln auf auch möglich

  • Vektor zwischen x und gespiegelter Vektor:

-> am Schluss überprüfen, ob Matrix stimmen kann

-> noch Berechnen

  • hier können wir die erste Spalte und Zeile unberührt lassen

AM Ende:

Q berechen

Für Q muss man transponieren

Prüfungsaufgabe:

->

Vektorräume

  • Menge , abgeschlossen unter Addition und Multiplikation

Tip

Entweder beweisen, oder Gegenbeispiel finden (einfacher)

z.B. Ist ein Vektorraum?

Vektorräme erfüllen 7 zusätzliche Eigenschaften

  • Geraden, Ebenen sind Vektorräume wenn sie den Ursprung enthalten

Bsp:

-> Enthält kein Nullvektor, V ist kein Vektorraum

Bsp: Menge aller symmetrischen Matrizen ()

Ist ein Vektorraum?

  1. Addition angeschlossen? -> ✔
  2. Multiplikation abgeschlossen? ✔
  3. Nullelement? Nullmatrix ist symmetrisch ✔
  4. Negatives Element? ✔

-> ist ein Vektorraum

5,6,7 müssen normalerweise nicht gezeigt werden, falls

Bem: Wenn und Vektorräume sind und , dann nennt man einen Unterraum von

ist ein Unterraum von .

Bsp: Vektorraume mit Funktionen als “Vektoren”:

(alle Polynome mit Grad 2 oder kleiner) -> Betrachtung von Funktionen als Vektoren erlaubt Verallgemeinerung von Konzepten wie Orthogonalität, Winkeln,

Lineare Kombination

  • Summe von mit Skalaren multiplizierten Vektoren:
  • z.b. Matrix-Vektor-Multiplikation

Dimension Vektorraum

  • Minimale Anzahl Vektoren mittels der sich der gesamte Vektorraum via Linearkombinationen abbilden lässt

Bsp

Bsp nicht eindeutig

-> eine solche Ansammlung an Vektoren wird auch Erzeugendensystem genannt

Bild einer Matrix

  • Raum, der durch die Spalten aufgespannt wird

Kern einer Matrix

Der Kern einer Matrix ist die Lösungsmenge der Gleichung

  • Immer mindestens eine Lösung, den Nullvektor
  • die Elemente des Kerns sind orhogonal zu den Zeilen von

Bsp:

-> da Rang Matrix und quadratisch => lässt sich eindeutig lösen =>

Bsp

-> Rang 2,

Warning

Wenn , dann haben Elemente des Bilds Dimension und Elemente des Kerns

timestamp 2024-10-24 Serie 5 letzte Aufgabe:

  • eure Lösung im Moodle hochladen
  • mathematisch korrekt und ordentlich arbeiten
    • Problemstellung
    • Was muss gezeigt werden
    • Schritt für schritt logisch argumentieren

Serie 4, Aufgabe 11

Fixiere , fixiere -> Was sind und c?


Trick: nutzen, dass Vektor -> von links mit muliplizieren

ein Skalar, auch

-> setzen

da -> eindeutig

Lineare Unabhängigkeit

  • sind linear unabhängig, wenn gilt

Lineare unabhängigkeit lässt isch durch das Lösen eines homogenen LGS überprüfen:

nur wenn eindeutig, dann sind linear unabhängig

Dimensionen

Es kann nicht mehr linear unabhängige Vektoren als die Dimension des Raumes geben

Wann sind 2 Vektoren linear abhängig?

-> wenn sie dieselbe “Richtung haben”

Bsp: ->


Spalten, Zeilen, Rang

  • Anzahl linear unabhägiger Spalten
    • =
    • = Anzahl linear unabhängiger Zeilen A

Bsp

-> Rang =2, da 2 Zeilen unabhängig

Basis

  • Erzeugendensystem aus linear unabhängigen Elementen heisst Basis
  • Dimension von Anzahl Elemente in basis

Bsp

-> z muss in zweiten Eintrag 1 enthalten, um linear unabhängig zu sein und Basis mit zu bilden, z.B. .

Fundamentalsatz der linearen Algebra

Recap ()

daher:


  • mit , dann:
  1. ,
    • freie Variablen für LGS mit
    • ,

-> Orthogonalität impliziert lineare Unabhängigkeit -> daraus folgt

-> unterschiedliche Dimensionen der Vektorelemente

Bsp:

rang=2

Welche Dimensionan haben die Elemente von ? -> Spalten haben 4 Komponenten -> Dimension 4 -> Spaltenraum spannt 2D Ebene in auf

Welche Dimensionen haben die Elemente von ? -> -> -> 3 Dimensionen

timestamp 2024-10-31

Koordinaten

  • Elemente von Vetorräumen können mit unterschiedlichen Basen dargestellt werden

Basiswechsel

  • Übergang von Koordinaten in Basis zu Koordinaten in Basis mit Matrix :
  • Matrix T ist gegeben durch:

-> wir repräsentieren die Basisvektoren von in um die Spalten zu berechnen

Bsp:

Wir wandeln wie Koordinaten von B nach > -> T spaltenweise berechen

->

genau gleich: ->

die Übergangsmatrix:

-> am Ende: Sanity check

Basiswechsel einer Matrix

Gegeben Matrix mit Basis , wie sieht die Matrix in der Basis aus?

(Annahme, gleiche Basis)

-> Pfad enthält 3 Matrixen, die miteinander multiplizieren

Die Matrix, die zuerst angewendet wird, ist ganz rechts!

Lineare Abbildungen

  • Abbildung zwischen zwei Vektorrämen :
  • erfüllen:
    1. :
    2. :

Bsp:

F linear?

-> überprüfen, ob addition, multiplikation von skalar stimmt -> Ableitung ist eine lineare Abbildung


  • jede lineare Abbildung lässt sich durch eine matrix beschreiben
  • , wenn und , dann
  1. ,

FInde Matrix, die beschreibt!

Wie wirkt auf Basisvektoren?

-> F(1) = -> F(x) = …= 1 ->

Vorgehen:

  1. Wie wirkt auf jeden Basisvektor?
  2. Spaltenweise aufstellen
  • da wir als Matrix beschreiben können, können wir auch Bild und Kern für lineare Abbildungen definieren

-> Ableitung von Konstanten ist 0

->

Prüfung HS 2024 Aufgabe

a)… b)… c) Gegeben seien im Urbildraum die Basis und im Bildraum die Basis . Welches ist die neue Matrix , die nach dem Basiswechsel beschreibt:

Aus b):

Einheitsbasis:

Wie stellen wir die Basisvektoren von in der EInheitsbasis dar?

ist Übergang von EInheitsbasis zu

-> Vektoren der Einheitsbasis in darstellen:

timestamp 2024-11-07

Norm und Skalarprodukt in linearen Räumen

Norm

  • Funktionen :
  1. ( !!)

Bsp: p-Normen

  • : euklidische Norm
  • : Maximumsnorm
  • :

Äquivalenz der Normen

Wenn und zwei Normen sind und , dann gilt:

-> ist eine Konstante

Bsp: Was ist für und

-> aber taugt nicht, weil möglich ist -> Brauchen Extremfall, wieviel maximal grösser als sein kann

  • tritt ein wenn alle Einträge von gleich sind:

Bsp Ist eine Norm? -> mehrere Elemente können sein, z.B. jedes

Bsp eine Norm? i) ii) iii)

Skalarprodukt

Funktion mit 3 Eigenschaften:

Norm kann aus Skalarprodukt induziert werden:

Bsp euklidische Norm

Bsp Skalarprodukt über Matrix (A positiv-definit )

Bsp zu Skalarprodukten () Ist ein Skalarprodukt?

  1. Positiv definit?

-> kein Skalarprodukt

Note

  • zuerst überlegen, ob es ein gegenbeispiel gibt
  • mit kompliziertester eigenschaft anfangen, um Zeit zu sparen

Summen von Skalarprodukten mit Koeffizienten sind Skalarprodukte

Orthogonale Projektionen

  • orthogonale Projektion von auf :

-> “Punkt auf y am nächsten zu x” -> Projektion auf y zum Punkt

Bsp abstand von funktionen

let

  • Winkelberechnung über allgemeines Skalarprodukt:
\alpha=\arccos \frac{|<x,y>|}{||x||||y||} $$- Orthogonal wenn $<x,y>=0$ Wenn 2 Vektoren orthogonal sind, dann ergibt $P_{y}x=P_{x}y=\vec{0}$ > #timestamp 2024-11-14 ### Gram-Schmidt Orthogonalisierungsverfahren - Methode zur Erzeugung einer orthonormalen Basis aus einer gewöhnlichen Basis

\begin{align} B & = { b_{1},b_{2},b_{3} } & (\text{reihenfolge nicht eindeutig;}\ & & \text{Vektor auswählen, der am einfachsten ist})\ q_{1} & = \frac{b_{1}}{||b_{1}||} & (||q_{1}||=1) \ \ c_{2} & =b_{2} -b \left< b_{2},q_{1} \right> q_{1} \ q_{2} & =\frac{c_{2}}{||c_{2}||} & (\text{Komponente in Richtung q1 abgezogen}\to q_{1}\bot q_{2}) \ \ \dots \ \ c_{n} & = b_{n}-\sum_{i=1}^{n-1}\left< b_{n},q_{1} \right>q_{i} & \to q_{n}\bot q_{n-1},\dots,q_{1} \ q_{n}&=\frac{c_{n}}{||c_{n}||} \ \ \tilde{B}&={ q_{1},q_{2},\dots,q_{n} } & \text{(ist eine orthonrmale Basis)} \end{align}

\begin{align} A & = \begin{bmatrix} 1 & 1 \ 2 & 0 \ 0 & 2 \end{bmatrix} & A=QR \end{align}

\begin{align} q_{1}&=\frac{1}{\sqrt{ 5 }}\begin{bmatrix}1\2\0\end{bmatrix} \ c_{2}&=a_{2}-\left< a_{2},q_{1} \right>q_{1} \ & = \begin{bmatrix} 1\0\2 \end{bmatrix} - \left< \begin{bmatrix} 1\0\2 \end{bmatrix}, \frac{1}{\sqrt{ 5 }}\begin{bmatrix} 1\2\0 \end{bmatrix} \right>\frac{1}{\sqrt{ 5 }}\begin{bmatrix} 1\2\0 \end{bmatrix} \ & = \begin{bmatrix} 1\0\2 \end{bmatrix} - \frac{1}{5}\cdot 1 \cdot \begin{bmatrix} 1\2\0 \end{bmatrix} \ & = \frac{1}{5} \begin{bmatrix} 4\-2\10 \end{bmatrix} \ ||c_{2}|| & =\frac{1}{5}\sqrt{ 4^2+2^2+10^2 } = \frac{1}{5}\sqrt{ 120 } \ & = \frac{1}{5}\sqrt{ 4\cdot 30 } = \frac{2}{5} \sqrt{ 30 } \ q_{2}&=\frac{c_{2}}{||c_{2}||} = \frac{1}{2\sqrt{ 30 }} \begin{bmatrix} 4\-2\10 \end{bmatrix} \ & = \frac{1}{\sqrt{ 30 }}\begin{bmatrix} 2\-1\5 \end{bmatrix} \ \ Q & = \begin{bmatrix} q_{1} & q_{2} \end{bmatrix} = \begin{bmatrix} \frac{1}{\sqrt{ 5 }} & \frac{2}{\sqrt{ 30 }} \ \frac{2}{\sqrt{ 5 }} & -\frac{1}{\sqrt{ 30 }} \ 0 & \frac{5}{\sqrt{ 30 }} \end{bmatrix} \end{align}

2. Berechnung $R$ ($A=QR$) $R = \begin{bmatrix}q_{1}^\top a_{1}&q_{1}^\top a_{2}\\0& q_{2}^\top a_{2}\end{bmatrix}$ $= \begin{bmatrix} \sqrt{ 5 } & \frac{1}{\sqrt{ 5 }}\\0 & \frac{12}{\sqrt{ 30 }} \end{bmatrix}$ 3. Überprüfen

\begin{bmatrix} 1 & 1\2 & 0\0 & 2 \end{bmatrix} = \begin{bmatrix} \frac{1}{\sqrt{ 5 }} & \frac{2}{\sqrt{ 30 }} \ \frac{2}{\sqrt{ 5 }} & -\frac{1}{\sqrt{ 30 }} \ 0 & \frac{5}{\sqrt{ 30 }} \end{bmatrix} \begin{bmatrix} \sqrt{ 5 } & \frac{1}{\sqrt{ 5 }}\0 & \frac{12}{\sqrt{ 30 }} \end{bmatrix}

-> hier ist $Q$ streng genommen keine orthogonale Matrix ### Projektoren - lineare Abbildung $P:V\to V$, für die gilt:

P

P=P^\top\quad (\text{Matrix muss symmetrisch sein})

(dann gilt $x-Px ~\bot ~\text{Bild}~P$) **Bsp** $\begin{bmatrix}1&0&0\\0&1&0\end{bmatrix}$ -> $P^2=P$ Projektion? -> $P^2$ existiert nur wenn $P$ quadratisch -> nicht Projektor **Bsp**

\begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix}\quad \text{Projektion?}

P^2 = \begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix} = \begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix} = P ~\checkmark

P Projektion orthogonal? $P=P^\top$ -> stimmt nicht ($1$ oben rechts verschiebt sich) -> nicht orthogonal #### Berechnung orthogonaler Projektoren #todo --- - Wenn $U.V$ zwei Matrizen mit $\underbrace{ V^\top U = I }_{ \text{spalten U orthonormal} }$, dann:

P=UV^\top\quad (\text{ist schiefe Projektion auf Spaltenraum von U})

U=\begin{bmatrix} \frac{1}{\sqrt{ 2 }} & 0 \ 0 & 1 \ \frac{1}{\sqrt{ 2 }} & 0 \end{bmatrix}

Suchen $V$ mit $V^\top U = I$ - mehrere Möglichkeiten

V=\begin{bmatrix} 0 & 0 & \sqrt{ 2 } \ 0 & 1 & 0 \end{bmatrix}

V^\top U = \begin{bmatrix} 1 & 0 \ 0 & 1 \end{bmatrix}

P=UV^\top = \dots=\begin{bmatrix} 0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1 \end{bmatrix}

$P^2=P~\checkmark$ $P^\top=P~\times$ -> schiefe Projektion --- #todo ### Riesz Theorem Sei $F:V\to \mathbb{R}$ ein lineares FUnktional und $V$ Vektorraum - Funktional $\hat{=}$ von Vektorraum auf $\mathbb{R}$ 1. $\exists$ eindeutiges $w \in V$: $F(v)=\left< w,v \right>~~~\forall v \in V$ 2. Sei $b_{1}, b_{2},\dots,b_{n}$ ONB in $V$, dann $w=\overline{F(b_{1})}b_{1}+\dots$ **Bsp** $L(x.y)=2x+3y$ $L(x,y)=\left< \begin{bmatrix}x\\y\end{bmatrix},\begin{bmatrix}2\\3\end{bmatrix} \right>$ -> $w=\begin{bmatrix} 2 \\ 3\end{bmatrix}$ beschreibt $L$ eindeutig > #timestamp 2024-11-21 ## Ausgleichsrechung (Linear Regression) - Finde Funktion die Fehlersumme minimiert

F^*(t)=\arg\min_{F} \sum_{i=1}^n (F(t_{i})-y_{i})

- Für unsere Zwecke ist $F(t)$ meist linear in $t$

F(t)=x_{0}+x_{1}t~(+x_{2}t^2+x_{3}t

-> $x_{0},x_{1}$ sind gesuchte Parameter - Probleme in Matrix-Vektorform bringen:

\vec{x}=\begin{bmatrix} x_{0}\x_{1} \end{bmatrix}, A=\begin{bmatrix} 1 & t_{1}\1 & t_{2}\\dots\1 & t_{n} \end{bmatrix}, b = \begin{bmatrix} y_{1}\y_{2}\\dots\setminus y_{n} \end{bmatrix}

A\vec{x}=\begin{bmatrix} x_{0}+x_{1}t_{1} \ \dots \ x_{0}+x_{1}t_{n} \end{bmatrix} = \begin{bmatrix} F(t_{1})\\dots\F(t_{n}) \end{bmatrix}

\sum_{i=1}^n (F(t_{i})-y_{i})^2 = ||Ax-b||

- Ziel finde oprimales $\hat{x}$

\hat{x} = \arg\min_{x \in \mathbb{R}^n} ||Ax-b||

- optimale $\hat{x}$ erfüllen Normalengleichung (Herleitung im Skript)

A^\top A \hat{x} = A^\top b

- eindeutige Lösung wenn $A$ vollen Spaltenrang hat => $A^\top A$ invertierbar:

\hat{x} = (A^\top A)^{-1} A^\top b

> [!warning] Ansonsten gibt es $\infty$ Lösungen > > Normalengleichung hat niemals keine Lösung # Determinanten - Zahl, welche die Invertierbarkeit von quadratischen Matrizen charakterisiert: - $A \in ^{n\times n}$, $A^{-1}$ existiert genau dann wenn $\det(A)\neq0$ - Konsequenz: Für alle quadratischen Matrizen, die nicht vollen Rang haben, gilt $\det(A)=0$ **Bsp** 1. Determinante für $2\times2$ Matrizen

A=\begin{bmatrix} a & b\c & d \end{bmatrix}, \det(A)=ad-bc

-> $A ^{-1}$ existiert 2. $2\times2$ ohne vollen Rang

B=\begin{bmatrix} 1 & -2\-3 & 6 \end{bmatrix}

-> $\det(B)=0$ -> $A^{-1}$ existiert nicht ## Regel von Sarrus für $3\times3$ Matrizen

C = \begin{bmatrix} a & d & g\b & e & h\c & f & i \end{bmatrix}, \det(C) = aei+bfg+cdh-gec-hfa-idb

-> genauso aufwendig wie Regel 11 (entwicklung nach Spalte/Reihe), aber im gegensatz zu 11 nicht nützlich zur Berechnung vom charakteristischen Polynom ### Laplacescher Entwicklungssatz - Methode zur Berechnung der Determinante in beliebigen Dimensionen Für $n \times m$ Matrix, Entwicklung nach z.b. Spalte $m$:

\det(A) = \sum_{i = 1}^n (-1)^{i+m} \cdot a_{im} \cdot \det(A_{im})

## rechenregeln Determinante 1. $A \in \mathbb{R}^{n\times n}, B \in \mathbb{R}^{n\times n}: \det(AB)=\det(A)\det(B)$ 2. $\det(A^{-1})=\frac{1}{\det(A)}$ 3. $A \in \mathbb{R}^{n\times n}, \alpha \in \mathbb{R}: \det(\alpha A)=\alpha^n\det(A)$ 4. $\det(A^\top)=\det(A)$ 1 -> orthogonale Matrix $Q^{-1}=Q^\top$ $\det(I)=1$ $\det(Q^\top Q)=\det(I)=1$ 1-> $\det(Q^\top)\det(Q)=1$ 4-> $\det(Q)\det(Q)=1$ $\det(Q)^2=1$ $\det(Q)=1$ oder $\det(Q)=-1$ > #timestamp 2024-11-28 # Eigenwerte und Eigenvektoren $A \in R^{n\times n}, x \in \mathbb{R}^n$ (quadratische Matrix): x ist Eigenvektor von $A$ mit Eigenwert $\lambda \in \mathbb{R}$, wenn gilt:

Ax=\lambda x

- $\vec{0}$ ist kein Eigenvektor -> triviale Lösung - ein Eigenvektor hat nur einen Eigenwert / ein Eigenwert kann mehrere Eigenvektoren haben Berechnung:

\begin{align} & Ax-\lambda x = \vec{0} \ & (A-\lambda I)x = \vec{0} \ \iff~ & \det(A-\lambda I) = 0 \end{align}

- $\det(A-\lambda I)$ gibt uns ein Polynom (in $\lambda$) von Grad $n$ und wird **charakteristisches Polynom** genannt ## Eigenräume Zu jedem Eigenwert $\lambda i$ gibt es einen zugehörigen Eigenraum $E_{\lambda i}$, der durch seine Eigenvektoren aufgespannt wird. **Bsp:** eigenwert $-6$ eigenvektor $\begin{bmatrix}24\\-3\\7\end{bmatrix}$ -> $E_{-6}=span(\begin{bmatrix}24\\-3\\7\end{bmatrix})$ -> Dimensionalität 1 ### Algebreische Vielfachheit eines Eigenwertes "wie oft der Eigenwert als Nullstelle des charakteristischen Polynoms vorkommt" - bei einer $A\in \mathbb{R}^{n\times n}$ maximal $n$ EW, ein Eigenwert hat algebraische Vielfachheit max $n$ **Bsp**

A = \begin{bmatrix} 2 & 1\0 & 2 \end{bmatrix}

$\det(A-\lambda I) = (2-\lambda)(2-\lambda)$ -> EW 2 hat algebraische Vielfachheit $2$ ### Geometrische Vielfachheit eines Eigenwertes = dimension des zugehörigen Eigenraums

1\leq \text{geometrische V.} \leq \text{algebraische V.}

-> zu jedem $EW$ gibt es mindestens ein Eigenvektor ## Diagonalisierbarkeit $A \in \mathbb{R}^{n\times n}$ und sei $D \in \mathbb{R}^{n\times n}$

D = \begin{bmatrix} \lambda_{1} & & 0 \ & \dots & \ 0 & & \lambda_{n} \end{bmatrix}

A = SDS

S = \begin{bmatrix} v_{1} & v_{2} & \dots & v_{n} \end{bmatrix}

- "geordnet": Reihenfolge Eigenwerte in D $\hat{=}$ Reihenfolge EV in S - S kann nur aufgestellt werden, wenn $n$ Eigenvektoren - EV müssen nicht normalisiert sein --- A ist genau dann diagonalisierbar, wenn für jeden Eigenwert die algebraische Vielfachheit gleich der geometrischen Vielfachheit

A = \begin{bmatrix} 2 & 1\0 & 1 \end{bmatrix}, \lambda_{\frac{1}{2}}=2

-> $\dim\left( E_{\lambda_{\frac{1}{2}}} \right)=1$ -> AV=2,GV=1 -> nicht diagonalisierbar > [!note] > > Häufiger Fehlschluss: Invertierbarkeit und Diagonalisierbarkeit hängen miteinander zusammen > $$ > \begin{bmatrix}1 & 0\\0 & 0\end{bmatrix} > $$ > -> diagonalisierbar, aber nicht invertierbar > $$ > \begin{bmatrix}1 & 1\\0 & 1\end{bmatrix} > $$ > -> invertierbar, aber nicht diagonalisierbar > Diaogonalisierbarkeit von $A$ lässt keinen Schluss auf die Invertierbarkeit zu, umgekehrt genauso ### Charakteristisches Polynom lösen - Für Polynom mit Grad $\geq3$ können wir praktisch nicht die Nullstellen mit einer Formel berechnen -> wir müssen die ersten Nullstellen raten **Bsp**

\det(A-\lambda I) = \lambda^3+4\lambda

-> oftmals ist eine Nullstelle gegeben durch 0,1 oder -1 -> einsetzen: (1) $1+4+1-6=0 \checkmark$ $\lambda_{1}=1$ Grad des Polynoms durch Polynomdivision reduzieren

(x^3+4x^2+x-6):(x-1)=x

-> $\det(A-x I) = (x-1)(x^2+5+6)$ quadratische Funktion: -> Nullstellen $-2,-3$

\det(A-xI) = (x-1)(x+3)(x+2)

### Nützliches zu Eigenwerten - Eigenvektoren von unterschiedlichen Eigenwerte sind linear unabhängig - die Determinante ist das Produkt der Eigenwerte

\det(A)=\prod_{i=1}^n \lambda_{i}

=> $\det(A)=0$ wenn $0$ ein Eigenwert ist - für Dreiecksmatrizen (egal ob untere oder obere) sind die Einträge auf der Hauptdiagonalen gleich den Eigenwerten

\begin{bmatrix} 1 & 2 & 3 & 4 \ 0 & 5 & 6 & 7 \ 0 & 0 & 8 & 9 \ 0 & 0 & 0 & 10 \end{bmatrix} \to \lambda_{1}=1,\lambda_{2} = 5, \lambda_{3} = 8, \lambda_{4}=10

A = \begin{bmatrix} 1 & 4\2 & 3 \end{bmatrix}

\begin{align} \det(A_{\lambda I}) & = (1-\lambda)(3-\lambda) - 8 \ & = \lambda^2-4\lambda - 5 \ & = (\lambda -1)(\lambda - 4) \end{align}

$\lambda_{1}=5, \lambda_{2}=1$ $\lambda_{1}\cdot\lambda_{2}=-5$ $\det(A)=3-8=-5 \checkmark$ --- $\lambda_{1}+\lambda_{2}=4$ $A=\begin{bmatrix}1&4\\2&3\end{bmatrix}\to 1+3=4$ > #timestamp 2024-10-05 ### Serie 10: Letzte Aufgabe Normale Matrizen ($A^\top A = AA^\top$) haben orthogonale Eigenvektoren Bedeutet:

\begin{align} Av_{1}=\lambda_{1}v_{1} \ Av_{2}=\lambda_{2}v_{2} \ \ \lambda_{1} \neq \lambda_{2} \implies v_{1}^\top v_{2}=0 \end{align}

Beweisidee: Zeigen, das $A$ und $A^\top$ gleiche $EW$ mit gleichen $EV$ haben. -> dann gilt:

\begin{align} (Av_{1})^\top v_{2} & = \lambda_{1}v_{1}^\top v_{2} \ (Av_{1})^\top v_{2} & = v_{1}^\top A^\top v_{2} = v_{1} \lambda_{2} v_{2} \ \lambda_{1}v_{1}^\top v_{2} & = \lambda_{2} v_{1}^\top v_{2} \implies v_{1}^\top v_{2} = 0\quad \square \end{align}

--- Wie zeigen, dass $A$ und $A^\top$ gleiche EW und EV haben? -> Für EW einfach:

\begin{align} \det(A-\lambda I) & = \det((A-\lambda I)^\top) \ & = \det(A^\top - \lambda I) \end{align}

\underbrace{ (A-\lambda I) }{ B }v = \vec{0}\quad \text{und}\quad \underbrace{ (A^\top - \lambda I) }{ B^\top }v=\vec{0}

BB^\top = B^\top B\quad \text{selbst überprüfen}

--- -> Hinweis: für normale Matrizen haben $B$, $B^\top$ den gleichen Kern (Beweis in der Musterlösung) also haben $Bv=\vec{0}$ und $B^\top v = \vec{0}$ gleiche Lösung -> $A$ und $A^\top$ haben gleiche EV ## Spektralsatz Symmetrische Matrizen (können immer diag.) haben orthogonale Eigenvektoren und lassen sich durch orthogonale Matrizen diagonalisieren:

A=UDU

- Die Spalten von $U$ sind **normierte** Eigenvektoren, D ist eine Diagonalmatrix mit Eigenvektoren

U = \begin{bmatrix} u_{1}, u_{2},\dots,u_{n} \end{bmatrix}, D = \begin{bmatrix} \lambda_{1} & & 0 \ & \ddots & \ 0 & & \lambda_{n} \end{bmatrix}

- Wenn $A$ symmetrisch, dann können wir es als Summe von orthogonalen Projektionen schreiben

A = \sum_{i=1}^n \lambda_{i}u_{i}u_{i}

A = \begin{bmatrix} 1 & 4\4 & 1 \end{bmatrix} \to \text{relativ einfach:}v_{1}=\begin{bmatrix} 1\1 \end{bmatrix} \text{EV mit EW}\lambda_{1}=5

$v_{2}=\begin{bmatrix}1\\-1\end{bmatrix}$ -> weil $A$ symmetrisch $v_{1}\bot v_{2}$ $Av_{2}=\begin{bmatrix}-3\\3\end{bmatrix}$ -> $\lambda_{2}=-3$ --- Für Diagonalisieren: $EV$ normieren

\begin{align} A & = \frac{1}{\sqrt{ 2 }}\begin{bmatrix}1&1\1&-1\end{bmatrix}\begin{bmatrix}5&0\0&-3\end{bmatrix} \frac{1}{\sqrt{ {2} }}\begin{bmatrix}1&1\1&-1\end{bmatrix} \ & = 5u{1}u_{1}^\top -3 u_{2}u_{2}^\top \ \ \ & = \frac{5}{2} \begin{bmatrix} 1\1 \end{bmatrix}\begin{bmatrix} 1 & 1 \end{bmatrix} - \frac{3}{2} \begin{bmatrix} 1\-1 \end{bmatrix}\begin{bmatrix} 1 & -1 \end{bmatrix} = \begin{bmatrix} 1 & 4\4 & 1 \end{bmatrix}~\checkmark \end{align}

## Definitheit Eine symmetrische Matrix $A \in \mathbb{R}^{n\times n}$ ist **positiv definit**, wenn gilt: 1. $x^\top Ax\geq 0$, $\forall x \in \mathbb{R}^n$ 2. $x^\top Ax = 0 \implies x = \vec{0}$ - Falls nur $1$ erfüllt, dann ist $A$ **positiv semi-definit** - Positiv definit: $EW>0$ - Positive-semi-definit: $EW\geq 0$ - nützlicher Trick -> gilt nicht nur für symm. M.

\begin{align} x^\top Ax = \sum_{i=1}^n \sum_{j=1}^n x_{i}A_{ij}x_{j} \ \text{auch möglich:} \ y^\top Ax = \sum_{i=1}^n \sum_{j=1}^n y_{i}A_{ij}x_{j} \end{align}

A = \sum_{k=1}^n \lambda_{k}v_{k}v_{k}

-> jede $x \in \mathbb{R}^n$ kann als lin.komb. von $v_{1},\dots,v_{n}$ gebildet werden

\begin{align} x & = \sum_{i=1}^n a_{i}v_{i} \ Ax & = \sum_{i=1}^n a_{i} A\vec{v_{i}} = \sum_{i=1}^n a_{i} \lambda_{i} \vec{v_{i}} \ x^\top Ax & = \left( \sum_{j=1}^n a_{i} \vec{v_{i}} \right)^\top \left( \sum_{i=1}^n a_{i}\lambda_{i}\vec{v_{i}} \right) \ & = \sum_{j=1}^n\sum_{i=1}^n a_{j}a_{i} \lambda_{i} \vec{v_{j}}^\top \vec{v_{i}} \ & \to\text{ EV sind orthogonal} \ & =\sum_{i=1}^n a_{i}^2 \lambda_{i} \end{align}

-> $\forall x: x^\top A x \geq 0 \iff \lambda_{i} \leq 0~\forall i$ --- **Bsp**

\begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}

positiv definit? nicht invertierbar -> mind. 1x eigenwert u -> A hat Rang $1$ -> also $\det(A)=1$ -> $\lambda_{1}=0$

v_{1} = \begin{bmatrix} 1\-1 \end{bmatrix} \to v_{2} \bot v_{1} \to v_{2} = \begin{bmatrix} 1\1 \end{bmatrix}

$Av_{2} = \begin{bmatrix}6\\6\end{bmatrix} \to \lambda_{2}=6$ -> A positiv semi-definit --- ### Prüfungsaufgabe HS 18

\begin{bmatrix} 2 & 1 & 1\1 & 1 & 2\1 & 2 & 1 \end{bmatrix}

-> symmetrisch -> EW orthogonal Zeilensumme $4$ überall $\to$ $\lambda_{1}=4$ --- Musterlösung:

\begin{align} \det(A-\lambda I) = \det \begin{bmatrix} 2-\lambda & 1 & 1\1 & 1-\lambda & 2\1 & 2 & 1-\lambda \end{bmatrix} \ & = (2-\lambda)(1-\lambda)^2 + 2 + 2 - (1-\lambda)-4 (2-\lambda) - (1-\lambda) \ & = (2-\lambda) (1-\lambda)^2 + 6\lambda - 6 \ & = (2-\lambda) (1-\Lambda)^2 - 6 (1-\lambda) \ & = (1-\lambda) ((2-\lambda)(1-\lambda)-6) \ & \to \lambda_{1} = 1 \ & = (1-\lambda) (\lambda^2-3\lambda + 2 - 6) \ & = (1-\lambda) (\lambda^2 - 3\lambda - 4) \ & \to \text{Trick:~} \lambda_{2} + \lambda_{3} = -(-3) \ & \lambda_{2} \lambda_{3} = -4 \end{align}

-> $\lambda_{2}=-1$, $\lambda_{3}=4$ (indefinit) EV berechnen: - $\lambda_{1}=1$

\begin{bmatrix} 2-1 & 1 & 1\1 & 1-1 & 2 \1 & 2 & 1-1 \end{bmatrix}

- Matrix muss Rang $2$ haben, weil nur eine freie Variable möglich - $x_{3}$ ist frei II $x_{1}=-2x_{3}$ II in I: $x_{2}=x_{3}$ $v_{1}=\begin{bmatrix}-2\\1\\1\end{bmatrix}$ $\lambda_{2}=-1$ -> $v_{2}=\begin{bmatrix}0\\1\\-1\end{bmatrix}$ $\lambda_{3}=4$ -> $v_{3}=\begin{bmatrix}1\\1\\1\end{bmatrix}$ evtl: $v_{1},v_{2}\to v_{3}$ über kreuzprodukt b) Bestimme eine orthonormale Basis aus den EV -> Eigenvektoren normieren $b_{1} = \frac{1}{\sqrt{ 6 }}\begin{bmatrix}-2\\1\\1\end{bmatrix}, b_{2}=\frac{1}{\sqrt{ 2 }}\begin{bmatrix}0\\1\\-1\end{bmatrix}, b_{3}=\frac{1}{\sqrt{ 3 }}\begin{bmatrix}1\\1\\1\end{bmatrix}$ c) berechne

e^A = \lim_{ n \to \infty } \sum_{n=0}^N \frac{1}{n!}A

\begin{align} A & = UDU^\top \ A^2 & = UDU^\top U D U^\top = U D^2 U^\top \ A^n & = U D^n U^\top \end{align}

\implies D = \begin{bmatrix} 1 & 0 & 0\0 & -1 & 0 \ 0 & 0 & 4 \end{bmatrix}, D^n = \begin{bmatrix} 1^n & 0 & 0\0 & (-1)^n & 0 \ 0 & 0 & 4^n \end{bmatrix}

\begin{align} e^A & = \lim_{ \mathbb{N} \to \infty } \sum_{n=0}^N \frac{1}{n!} A^n \ & = \lim_{ N \to \infty } \sum_{n=1}^N \frac{1}{n!} UD^nU^\top \ & = U \left( \lim_{ N \to \infty } \sum_{n=0}^N \frac{D^n}{n!} \right) U^\top \ & = U \left( \lim_{ N \to \infty } \begin{bmatrix} \sum_{n=0}^N \frac{1^n}{n!}&0&0\0&\sum_{n=0}^N \frac{(-1)^n}{n!}&0\0&0&\sum_{n=0}^N \frac{4^n}{n!} \end{bmatrix} \right)U^\top \end{align}

da: $e^x = \lim_{ N \to \infty } \sum^N_{n=0} \frac{x^n}{n!}$

= U (\begin{bmatrix} e^1 & 0 &0\0 & e^{-1}&0\0&0&e^4 \end{bmatrix}) U

> #timestamp 2024-12-12 # Singulärwertszerlegung (SVD) - $A\in \mathbb{R}^{m\times n}$ beliebig, dann gibt es zwei orthogonale Matrizen $U\in \mathbb{R}^{m\times m}, V\in \mathbb{R}^{m\times m}$ sodass:

A = U\Sigma V

wobei $\Sigma = diag(\sigma_{1}, \sigma_{2},\dots,\sigma_{p})\in R^{m\times n}$ - $\sigma_{1},\dots,\sigma_{p}$ sind **SIngulärwerte** von A - $\sigma_{1}\geq\dots\geq\sigma_{p}\geq_{0}$ der Grösse nach geordnet **Bsp**

\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}

wobei $\sigma_{1}=\sqrt{ 6 }, \sigma_{2}=0$ - U,V haben normierte, orthogonale Spalten ### Berechnung SVD 1. Singulärwerte sind Wurzeln der EW von $A^\top A$ und $AA^\top$ - immer Matrix auswählen, die kleiner ist **Bsp**

\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix}

-> $A^\top A \in \mathbb{R}^{2\times2}$, $AA^\top \in \mathbb{R}^{3\times3}$ -> EW von $A^\top A$ sind einfacher zu berechnen

A^\top A = \begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}

\det(A^\top A - \lambda I) = (3-\lambda)^2 -9 = \lambda(\lambda-6)

$\lambda_{1}=0, \lambda_{2}=6$ $\sigma_{1}=\sqrt{ 6 }, \sigma_{2}=0$ -> nach Grösse ordnen!

\Sigma = \begin{bmatrix} \sqrt{ 6 } &. \. & 0\ .&. \end{bmatrix}

-> hat immer gleiche Dimensionen wie $A$! 2. Spalten von $U$ sind EV von $AA^\top$, Spalten von $V$ sind $EV$ von $A^\top A$ - Nützlich:

\begin{align} u_{i}^\top A v_{i} & = \sigma_{i} \ \

u_{i} & = \frac{Av_{i}}{\sigma_{i}} \ v_{i} & = \frac{A^\top u_{i}}{\sigma_{i}} \end{align}

A^\top A = \begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}

-> Spalten von $V$ (=EV von $A^\top A$) sind einfacher zu berechnen, weil $V \in R^{2\times2}$, und $U\in \mathbb{R}^{3\times3}$ > [!warning] Vorsicht: $\lambda_{i} = \sigma_{i}^2$ > **Berechnung $V$** $(A^\top A-\lambda_{1}I)x=\vec{0}$ -> Rang 1 -> $x_{1}=x_{2}$ -> Normierter EV: $v_{1}=\frac{1}{\sqrt{ 2 }}\begin{bmatrix}1\\1\end{bmatrix}$ -> da $A^\top A$ symmetrisch: $v_{2} \bot v_{1}$ $v_{2} = \frac{1}{\sqrt{ 2 }}\begin{bmatrix}1\\-1\end{bmatrix}$

V = \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}

-> muss noch transponiert werden, in unserem Beispiel schon symmetrisch **Berechnung $U$** - 2. Singulärwert is $0$ -> kann nicht über Formel berechnet werden, aber Spalten müssen orthogonal sein -> kann aus $u_{1}$ berechnet werden) - Aber brauchen $u_{2}\bot u_{1}$ und $u_{3}\bot u_{1},u_{2}$ - für $u_{3}$ kann man das Gram-Schmidt-Verfahren oder (in 3D) das Kreuzprodukt verwenden

\begin{align} u_{1} & = \frac{Av_{1}}{\sigma_{1}} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} \frac{1}{\sqrt{ 2 }} \begin{bmatrix} 1\1 \end{bmatrix} = \dots = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 }\\sqrt{ 2 }\\sqrt{ 2 } \end{bmatrix} \ u_{2} & = \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1\-1\0 \end{bmatrix} = \frac{1}{\sqrt{ 6 }}\begin{bmatrix} \sqrt{ 3 }\-\sqrt{ 3 } \0 \end{bmatrix} \ u_{3} & = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} 1\1\-2 \end{bmatrix} \end{align}

-> $v_{3}$ hier von der Norm her geraten #todo: üben, orthogonale Vektoren von Hand erkennen

U = \frac{1}{\sqrt{ 6 }}\begin{bmatrix} \sqrt{ 2 } & \sqrt{ 3 } & 1\ \sqrt{ 2 } & -\sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}

\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}

- wir können $A$ immer als Summe von Rang 1 Matrizen schreiben:

A = \sum_{i=1}^n \sigma_{i}u_{i}v_{i}

- "Anzahl SIngulärwerte > 0" = Rang $r$

\begin{align} A &= \sqrt{ 6 } v_{1} v_{1}^\top \ & = \sqrt{ 6 } \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 }\\sqrt{ 2 }\\sqrt{ 2 } \end{bmatrix} \frac{1}{\sqrt{ 2 }} \begin{bmatrix} 1 & 1 \end{bmatrix} \ & = \begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} \end{align}

**Bsp 2**: SVD von $A=\begin{bmatrix}1&2&3\end{bmatrix} \in \mathbb{R}^{1\times3}$ $U\in \mathbb{R}^{1\times 1}$, $V\in \mathbb{R}^{3\times 3}$ - Singulärwerte berechnen von $AA^\top \in \mathbb{R}^{1\times 1}$ einfacher ($A^\top A\in \mathbb{R}^{3\times3}$) $\det(AA^\top- \lambda I)=14-\lambda \to \sigma_{1}=\sqrt{ 14 }$

\Sigma = \begin{bmatrix} \sqrt{ 14 } & 0 & 0 \end{bmatrix}

--- $U$ trivial: $U=1$ ( oder $-1$) --- Berechnung $V$: - wir müssen wieder $v_{2} \bot v_{1}$, da nur ein EW - $v_{3}$ mit Kreuzprodukt, Gram-Schmidt, oder Überlegung: $v_{3}\bot v_{2},v_{1}$

\begin{align} v_{1} & = \frac{A^\top u_{1}}{\sigma_{1}} = \frac{1}{\sqrt{ 14 }} \begin{bmatrix} 1\2\3 \end{bmatrix} \ v_{2} & = \frac{1}{\sqrt{ 5 }} \begin{bmatrix} -2\1\0 \end{bmatrix} \ v_{3} & = \begin{bmatrix} 1\2\-\frac{5}{3} \end{bmatrix} = \frac{1}{\sqrt{ 70 }}\begin{bmatrix} 3\6\-5 \end{bmatrix} & 1,2~\text{um orthogonal zu}~v_{2}, -\frac{5}{3} ~\text{für}~v_{1} \ & \left( v_{3}’=\frac{1}{3}\cdot \text{normiert} \begin{bmatrix} 3\6\-5 \end{bmatrix} \right) \end{align}

für $v_{3}$: erste zwei Einträge, um orthogonal zu $v_{2}$. Für 3. kreuzprodukt: $1*1+2*2+z*3=0$ -> $z=-\frac{5}{3}$

V = \begin{bmatrix} \frac{1}{\sqrt{ 14 }} & -\frac{2}{\sqrt{ 5 }} & \frac{3}{\sqrt{ 70 }} \ \frac{2}{\sqrt{ 14 }} & \frac{1}{\sqrt{ 5 }} & \frac{6}{\sqrt{ 70 }} \ \frac{3}{\sqrt{ 14 }} & 0 & -\frac{5}{\sqrt{ 70 }} \end{bmatrix}

> [!warning] nicht vergessen, $V$ zu transponieren >

\begin{align} A = U\Sigma V^\top \end{align}

> [!note] Wenn $A$ eine quadratische Matrix ist, dann sind die Singulärwerte von $A$ gleich den Beträgen der Eigenwerten von $A$. > ### Ausgleichsrechnung mit SVD - Erinnerung: suchen $x \in \mathbb{R}^n$ das folgenden Ausdruck minimiert:

||Ax-b||_{2}

A^\top Ax=A^\top b

\begin{align} ||Ax-b||{2}^2 & = ||U\Sigma V^\top x - UU^\top b ||{2}^2 & ||Ux||{2}^2 = ||x||{2}^2~\text{für U orthogonal}\ & = ||\Sigma V^\top x - U^\top b ||_{2}^2 \end{align}

\begin{align} & = ||\begin{bmatrix} \Sigma_{r} & 0\0 & 0 \end{bmatrix}\begin{bmatrix} v_{1}^\top\v_{2^\top} \end{bmatrix} x - \begin{bmatrix} U_{1}^\top\U_{2}^\top \end{bmatrix}b || {2}^2 \ & = ||\Sigma{r}v_{1}^\top x - U_{1}^\top b ||{2}^2 + ||U{2}^\top b ||_{2}^2 \end{align}

-> minimal für $\Sigma_{r}V_{1}^\top x = U^\top_{1}b$

x = V_{1}\Sigma_{r}^{-1}U_{1}^\top b

\begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix}

b = \begin{bmatrix} 1\2\1 \end{bmatrix}

Finde $x$, sodass $||Ax-b||_{2}$ minimal:

\begin{align} \Sigma_{r} & = \sqrt{ 6 }, v_{1} = \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1\1 \end{bmatrix}, u_{1}^\top = \frac{1}{\sqrt{ 6 }}\begin{bmatrix} \sqrt{ 2 } & \sqrt{ 2 } & \sqrt{ 2 } \end{bmatrix}, \Sigma_{r}^{-1}=\frac{1}{\sqrt{ 6 }} \ \ x & = v_{1}\Sigma_{r}^{-1}U_{1}^\top b = \dots = \frac{2}{3} \begin{bmatrix} 1\1 \end{bmatrix} \end{align}

--- > [!note] > > Lösung $x=V_{1}\Sigma_{r}^{-1}U_{1}^\top b$ ist nicht unbedingt einzige Lösung, aber hat minimale euklidische Norm unter allen Lösungen $||x||_{2}$ minimal. Vergleich mit Normalengleichung:

A^\top A = \begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}, A^\top b = \begin{bmatrix} 4\4 \end{bmatrix}

Normalengleichung: $A^\top Ax = A^\top b$

\begin{bmatrix} 3 & 3\3 & 3 \end{bmatrix}\begin{bmatrix} x_{1}\x_{2} \end{bmatrix} = \begin{bmatrix} 4\4 \end{bmatrix}

$3x_{1}3x_{2}=4\to x_{1}=\frac{4}{3}-x_{2}$

x = \begin{bmatrix} \frac{4}{3}-t\t \end{bmatrix} = \begin{bmatrix} \frac{4}{3}\0 \end{bmatrix} + t \begin{bmatrix} -1\1 \end{bmatrix}

$||x||_{2}=\left( \frac{4}{3}-t \right)^2+t^2 = 2t^2+\frac{8}{3}t+\frac{16}{9}$

\frac{\delta}{\delta t}||x||_{2} = 4t-\frac{8}{4} \stackrel{!}{=}0

für minimale Form => $t = \frac{2}{3}$ $x = \frac{2}{3} \begin{bmatrix}1\\1\end{bmatrix}$ -> liefert gleiche Lösung ### Moore-Penrose Pseudoinverse - Pseudoinverse $A^{\dagger}$ kann mit $SVD$ berechnet werden:

A = U\Sigma V^\top \to A^{\dagger} = V\Sigma ^{\dagger} U

\Sigma^{\dagger} = \begin{bmatrix} \frac{1}{\sigma_{1}} & 0 & 0 \ 0 & \frac{1}{\sigma_{2}} & 0 \ 0 & 0 & \ddots \end{bmatrix}

-> wenn $\sigma_{i}=0$, dann $\frac{1}{\sigma_{1}}=0$ einfach bei $0$ lassen - Eigenschaften: $A\in \mathbb{R}^{m\times n}\implies A^\top \in \mathbb{R}^{n\times n}$ 1. $AA^{\dagger} A = A$ 2. $A^{\dagger} A A^{\dagger} = A^{\dagger}$ > [!warning] $A^{\dagger} A = I$ gilt aber nicht! > Falls $A^{-1}$ existiert: $A^{\dagger}=A^{-1}$ --- **Bsp**

\begin{align} \begin{bmatrix} 1 & 1\1 & 1\1 & 1 \end{bmatrix} = \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & -\sqrt{ 3 } & 0\\sqrt{ 2 } & \sqrt{ 3 } & 1\\sqrt{ 2 } & 0 & -2 \end{bmatrix}\begin{bmatrix} \sqrt{ 6 } & 0\0 & 0\0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 2 }}\begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix} \end{align}

A^+ = V\Sigma^+ U^\top = \frac{1}{\sqrt{ 2 }} \begin{bmatrix} 1 & 1\1 & -1 \end{bmatrix} \begin{bmatrix} \frac{1}{\sqrt{ 6 }} & 0 & 0\0 & 0 & 0 \end{bmatrix} \frac{1}{\sqrt{ 6 }} \begin{bmatrix} \sqrt{ 2 } & \sqrt{ 2 } & \sqrt{ 2 } \ \sqrt{ 3 } & -\sqrt{ 3 } & 0 \ 1 & 1 & -2 \end{bmatrix} = \dots = \frac{1}{6} \begin{bmatrix} 1 & 1 & 1\1 & 1 & 1 \end{bmatrix}

x = A

A^{\dagger} = \frac{1}{6} \begin{bmatrix} 1 & 1 & 1\1 & 1 & 1 \end{bmatrix}, b = \begin{bmatrix} 1\2\1 \end{bmatrix}

x = A^{\dagger} b = \frac{2}{3} \begin{bmatrix} 1\1 \end{bmatrix}\quad \checkmark

### Matrixnormen mit SVD: - Spektralnorm:

||A||{2} = \max{x\neq0} \frac{||Ax||}{||x||} = \sigma_{1}