Čtení: 35 minHodnotí se: úkol 2, test

4 Redukce instancí a balancování

Po přečtení umíš

vysvětlit, proč je přesnost na nevyvážených datech klamavá
porovnat undersampling a oversampling
popsat Tomek links, SMOTE, CNN a ENN

4.1 Ukázka: 97 % přesnosti zadarmo

Zákazníků odchází 3 %. Model, který vždy řekne „zůstane“, má přesnost 97 %, a přitom nezachytí nikoho. Na nevyvážených datech proto hodnoť přesnost a úplnost, F1 nebo AUC.

4.2 Balancování

Definice 4.2 (Tomek link)

Dvojice příkladů z různých tříd, které jsou si navzájem nejbližší. Patří do ní šum nebo hraniční příklady. Při undersamplingu se maže příklad z většinové třídy.

Definice 4.3 (SMOTE)

Nové příklady menšinové třídy vznikají interpolací mezi příkladem a jeho sousedem z menšinové třídy: $x_{nov} = x + \lambda (x_{soused} - x)$ , $\lambda \in (0, 1)$ .

Příklad 4.4 (SMOTE v praxi)

Příklad $(1, 2)$ , soused $(3, 4)$ , $\lambda = 0{,}5$ . Jaký bod vznikne?

Řešení

$(1, 2) + 0{,}5 \cdot (2, 2) = (2, 3)$ .

ENN maže příklad, jehož třída se liší od aspoň dvou ze tří sousedů, a maže víc než Tomek. NCL se soustředí na čištění většinové třídy. Kombinace SMOTE + Tomek a SMOTE + ENN po přidání vyčistí hranici.

Varování 4.5 (Pořadí)

Balancuj jen trénovací data, až po rozdělení. Jinak se kopie dostanou do testu a výsledek je přehnaný.

4.3 Redukce instancí

CNN vybírá příklady blízko rozhodovací hranice, je inkrementální, závisí na pořadí a je citlivý na šum. Wilson editing maže příklady, které nesouhlasí s většinou sousedů, a tím vyhlazuje hranici. RNN dále zmenšuje výsledek CNN.

Rozdíl: condensing zmenšuje, editing čistí.

4.4 Kvíz

Kvíz

1. Co platí pro SMOTE? Vytváří syntetické příklady Pracuje v prostoru příznaků Kopíruje existující příklady Používá nejbližší sousedy z menšinové třídy

2. Co je Tomek link? Dvojice z různých tříd Vzájemně nejbližší body Dvojice ze stejné třídy Může značit šum

3. Co platí pro CNN? Vybírá body u hranice Závisí na pořadí dat Je odolný vůči šumu Zaručuje minimální podmnožinu

4. Co hodnotit na datech s 1 % pozitivních případů? Přesnost samotnou Precision a recall AUC F1

5. Kdy se má balancovat? Před rozdělením dat Jen na trénovací části I na testovací části Po rozdělení dat

4.5 Tahák

Tahák

Přesnost klame, použij F1 a AUC.
Tomek: vzájemně nejbližší z různých tříd.
SMOTE: interpolace v menšinové třídě.
ENN: maž, když nesouhlasí 2 ze 3.
CNN hranice, Wilson čistí.
Balancuj jen trénovací data.

Kapitolu mám prostudovanou