Sintesis

Álgebra Lineal Numérica Para Aprendizaje Estadístico

Vectores

\(v, u \in \mathbb{R} ^n\) \(\in\)
\(vv^\top\) \( \mathcal{M}_{n\times n} \) (rango 1) Operador de Proyección Ortogonal en \(v\)  \(P_v=\frac{v v^\top }{ v^\top v}\)
\(v^\top v\) \( \mathbb{R} \) \(\langle v, v \rangle = \|v\|^2\)
\(vu^\top\) \( \mathcal{M}_{n\times n} \) (rango 1) Descomposicion RC  \(\chi_A(\lambda) = (-\lambda)^{n-1} (v^\top u - \lambda)\)
\(v^\top u\) \( \mathbb{R} \) \(\langle v, u \rangle = \|v\|\|u\|\cos\theta\)

Matrices

Stiefel \(Q \in \mathcal{M}_{m\times n} \)
\( Q^\top Q = \mathbb{I} \)
  • Isometría
  • Columnas ortonormales
  • \(Q Q^\top = P_Q\)
  • Idempotente, Invariante en \(Q\)
Ortogonal \(Q \in \mathcal{M}_{n\times n} \)
  • Caso particular de Stiefel, ademas cuadrada
  • Autovectores \(\in \mathbb{C}^n\) ortogonales (\(v^*w=0\))
  • \(Q^{-1}= Q^\top \)
  • \(\lambda_i\in\mathbb{C},\ |\lambda_i| = 1\)
  • Isometria (preserva normas y angulos)
  • si \(\lambda\in \mathbb{R} \) entonces \(\lambda=\pm1\)
  • Rotacion \(\det(Q)=1\), o Reflexion \(\det(Q)=-1\)
Simétrica \(S \in \mathcal{M}(\mathbb{R})_{n\times n} \)
\(S = S^\top\)
  • Autovectores ortogonales
  • \(\lambda \in \mathbb{R} \)
  • \(S=Q\Lambda Q^\top\)
Simétrica y Ortogonal \(S \in \mathcal{M}(\mathbb{R})_{n\times n} \)
\(S = S^\top\)
\(S^{-1}=S^\top\)
  • \(\lambda=\pm1\)
Hermítica \(S \in \mathcal{M}(\mathbb{C})_{n\times n} \)
\(S = S^* = \overline{S}^\top \)
  • Autovectores ortogonales (en \(\mathbb{C}\), \(v^*w=0\))
  • \(\lambda \in \mathbb{C}\)
  • \(S=Q\Lambda Q^\top \)
Antisimétrica \(A\)
\( A^\top =-A\)
  • \(\lambda\) imaginario puro o cero
Householder \(H\)
  • \(H = (I-2vv^\top)u\)
  • Simetrica (proyección ortogonal)
  • Involutiva (\(H^2= \mathbb{I} \))
  • Ortogonal (isometría)

Proyecciónes y Reflexiónes

\(u, v \in \mathbb{R} ^n, \left\| u \right\| = \left\| v \right\| = 1\)
Proyección de \(u\) sobre \(v\) \(u_v = (vv^\top)u = v\langle v, u \rangle\)
Proyección de \(u\) sobre \(v^\perp\) \(u_{v^\perp} = (I-vv^\top)u\)
Proyección de \(u\) sobre \(C(Q)\) \(QQ^\top u\)
Reflección de \(u\) sobre hiperplano \(v^\perp\) \(H = (I-2vv^\top)u\)


Operador de Proyección Ortogonal en \(C(Q)\) \(Q Q^\top \)
Idempotencia \(P^2=P\)
Invarianza \(v=Qx \implies Pv = v\)
Simetrica \(P= P^\top \)
Ortogonal \((Py)^\top(x-Px)=0, \forall y\)
Semidefinida Positiva \(\succeq 0\)


Operador de Proyección Ortogonal en \(C(A)\) \(P = AA^+ = A ( A^\top A)^{-1} A^\top \)
Idempotente
Simetrica

Factorizaciones

Hipótesis Origen
\(A = CR\)
\(A = X\Lambda X^{-1}\) \(A\in \mathcal{M}_{n\times n} \) con \(n\) Autovectores l.i. \(AX=X\Lambda\)
\(S = Q\Lambda Q^\top\) \(S=S^\top\), \(S\in \mathcal{M}_{n\times n} \) Teorema Espectral
\(A = U\Sigma V^\top\)

Normas Vectoriales

\(v \in \mathbb{R} ^n\) Definicion a.k.a.
\(\ell_0\) \( \left\| v \right\| _0 = \#\{i: v_i \neq 0\}\) No es norma
\(\ell_1\) \( \left\| v \right\| _1 = \sum_{i=1}^{n} |v_i| = |v_1| + |v_2| + \dots + |v_n|\) Manhattan
\(\ell_2\) \( \left\| v \right\| _2 = \sigma_1\) Euclidea
\(\ell_p\) \( \left\| v \right\| _p = \left( \sum_{i=1}^{n} |v_i|^p \right)^{1/p}\)
\(\ell_\infty\) \( \left\| v \right\| _\infty = \max |v_i| \ \ i=1\dots n\) Máximo
\(S\) \( \left\| v \right\| _S = \sqrt{ v^\top Sv}\) S / Energía


Propiedades \(v, w \in \mathbb{R} ^n\)
Positividad \( \left\| v \right\| >=0, \quad \left\| v \right\| = 0 \implies v=0\)
Homogeneidad \( \left\| cv \right\| = |c| \cdot \left\| v \right\| \)
Triángular \( \left\| v+w \right\| \le \left\| v \right\| + \left\| w \right\| \)
Polarizacion \(\langle v, w \rangle = \frac{1}{4} \left( \left\| v + w \right\| ^2 - \left\| v - w \right\| ^2 \right)\)
Paralelogramo \( \left\| v+w \right\| ^2 + \left\| v-w \right\| ^2 = 2 \left\| v \right\| ^2 + 2 \left\| w \right\| ^2\)
Cauchy-Schwarz \(| v^\top w| \leq \left\| v \right\| _2 \left\| w \right\| _2\)

Producto interno Hilbert-Schmidt

\[\langle A, B \rangle_{HS} = \text{tr}( A^\top B) = \sum_{j=1}^n\sum_{i=1}^ma_{ij}b_{ij}=vec(A) \cdot vec(B)\]

Propiedades
Simetría \(\langle A, B \rangle=\langle B, A \rangle\)
Linealidad \(\langle cA, B \rangle=c\langle A, B \rangle\)
Positividad \(\langle A, A \rangle \geq 0, \ A \neq 0\)

Normas Matriciales

a.k.a Definicion Expresión Espectral Inducida por
Operador / Espectral \(\displaystyle \left\| A \right\| _2 = \max_{x\neq0}{\frac{ \left\| Ax \right\| }{ \left\| x \right\| }} = \max_{ \left\| x \right\| =1}{ \left\| Ax \right\| }\) \(\displaystyle \sigma_1\) Norma \(\ell_2\)
\(\displaystyle \left\| A \right\| _1=\max_{1 \leq j \leq n}{ \sum_{i=1}^m{ |a_{ij}| } }\) Norma \(\ell_1\)
\(\displaystyle \left\| A \right\| _\infty=\max_{1 \leq i \leq m}{ \sum_{j=1}^n{ |a_{ij}| } }\) Norma \(\ell_\infty\)
Nuclear / Traza \(\displaystyle \left\| A \right\| _N = \sigma_1 + \dots + \sigma_r\) \(\displaystyle \sum_{i=1}^r{\sigma_i}\)
Frobenius \(\displaystyle \left\| A \right\| _F = \left( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^2 \right)^{ ½ }\) \(\displaystyle \left(\sum{\sigma_i^2}\right)^ ½ \) Hilbert-Schmidt


Propiedades
\( \left\| A \right\| _2 = \sigma_1\)
\( \left\| A \right\| _F = (\sigma_1^2 + \dots + \sigma_r^2)^ ½ = \sqrt{\langle A, A \rangle_{HS}} = \sqrt{ \text{traza}( A^\top A) }\)
\( \left\| A \right\| _N = \sum_{i=1\dots r}{\sigma_i}\)
\( \left\| AB \right\| \leq \left\| A \right\| \left\| B \right\| \)
\( \left\| QA \right\| = \left\| AQ \right\| = \left\| A \right\| \) Invarianza Ortogonal (Frobenius, Operador, Nuclear)
\( \left\| A \right\| _2\leq \left\| A \right\| _F\leq \left\| A \right\| _N\)

SVD

\[A = U\Sigma V^\top \] \[A^+ = ( A^\top A)^{-1} A^\top \]