5 Redukce dimenze
- popsat PCA a význam vlastních čísel
- rozlišit PCA, LDA a ICA
- vědět, kdy normalizovat
5.1 Ukázka: fotka stínu
Stín 3D objektu je 2D projekce. Dobrý úhel zachová tvar, špatný ho ztratí. PCA hledá úhel, ze kterého je vidět největší rozptyl.
5.2 PCA
Ortogonální směry největšího rozptylu. Jsou to vlastní vektory kovarianční matice a vlastní čísla udávají rozptyl podél nich.
Postup: vycentruj, případně standardizuj, spočítej kovarianci, seřaď vlastní čísla a promítni.
Vlastní čísla jsou 2 a 1. Kolik rozptylu zachová první komponenta?
Řešení
, tedy asi 67 %.
Když má jeden příznak mnohem větší rozsah, ovládne PCA. Proto se standardizuje, tedy PCA nad korelační maticí.
5.3 LDA a ICA
| Metoda | Učitel | Cíl |
|---|---|---|
| PCA | ne | největší rozptyl |
| LDA | ano | oddělení tříd |
| ICA | ne | nezávislé složky |
LDA maximalizuje rozptyl mezi třídami vůči rozptylu uvnitř tříd. Dá nejvýš směrů. ICA rozkládá směs na nezávislé signály, klasický příklad je oddělení hlasů. Náhodná projekce je levná a přibližně zachovává vzdálenosti.
5.4 Kvíz
5.5 Tahák
- PCA: bez učitele, rozptyl, vlastní čísla, ortogonální.
- LDA: s učitelem, oddělení tříd, nejvýš .
- ICA: nezávislé složky.
- Standardizuj při různých škálách.