Čtení: 30 minHodnotí se: test

3 Výběr příznaků

Po přečtení umíš

rozlišit filtry, wrappery a embedded metody
vybrat mezi Pearsonem, Spearmanem a vzájemnou informací
vysvětlit Lasso

3.1 Ukázka: korelace 0 neznamená nezávislost

Data $x = -1, 0, 1$ a $y = x^2$ . Y je přesně určené z $x$ , a přesto Pearsonova korelace vyjde 0, protože měří jen lineární vztah. Vzájemná informace by závislost našla.

3.2 Tři přístupy

Přístup	Jak	Výhoda	Nevýhoda
Filtr	hodnotí příznaky nezávisle na modelu	rychlý	ignoruje interakce
Wrapper	hledá podmnožinu podle výkonu modelu	přesnější	drahý, riziko přeučení
Embedded	výběr je součástí učení	kompromis	vázaný na model

Příklady: Pearson, Spearman, Kendall, MI; forward, backward, stepwise; Lasso, Elastic Net, stromy.

3.3 Míry závislosti

Pearson: lineární.
Spearman, Kendall: monotónní, pracují s pořadím.
Vzájemná informace: i nelineární.

Definice 3.2 (Entropie)

H(X) = -\sum_x p(x) \log_2 p(x)

Měří neurčitost. Pro $p = 0{,}5$ je to 1 bit, pro $p = 0{,}25$ asi 0,811 bitu.

3.4 Lasso

Přidá k chybě modelu součet absolutních hodnot koeficientů. Některé tím stlačí přesně na nulu, a tak vybírá příznaky. Ridge s kvadrátem jen zmenšuje. Elastic Net kombinuje obojí.

3.5 Kvíz

3.6 Tahák

Tahák

Filtr: rychlý, bez modelu. Wrapper: podle modelu, drahý. Embedded: při učení.
Pearson lineární, Spearman monotónní, MI nelineární.
Korelace 0 neznamená nezávislost.
Lasso L1 nuluje, Ridge L2 zmenšuje.

Kapitolu mám prostudovanou