Čtení: 35 minHodnotí se: úkol 1, test

2 Čištění dat

Po přečtení umíš

rozlišit MCAR, MAR a MNAR a zvolit imputaci
porovnat diskretizaci stejnou šířkou a frekvencí
najít odlehlé hodnoty a vysvětlit LOF
poznat false predictor

Test má otázky se čtyřmi možnostmi. Správně může být všechno i nic a bod je jen za úplně správnou odpověď. Proto kvízy v kapitolách PDD trénují přesně tento formát.

2.1 Ukázka: 0 není vždy nula

Sloupec věk obsahuje 0, -1 a 999. Průměr vyjde nesmyslně, přitom žádná hodnota není prázdná. To jsou skrytá chybějící data. Čištění začíná tím, že zjistíš, co hodnoty znamenají, a teprve potom počítáš.

2.2 Chybějící hodnoty

Definice 2.2 (Mechanismy)

MCAR: chybí zcela náhodně, nezávisle na datech.
MAR: chybí v závislosti na jiných pozorovaných proměnných.
MNAR: chybí v závislosti na vlastní hodnotě, třeba vysoké příjmy se neuvádějí.

Metoda	Kdy	Pozor
vymazání řádků	MCAR a malý podíl	jinak zkreslí výsledek
průměr, medián	jednoduchý základ	zmenší rozptyl
regrese	vztahy mezi proměnnými	stochastická varianta přidá šum
kNN	podobné řádky	citlivé na škálu

2.3 Diskretizace

Definice 2.3 (Stejná šířka a stejná frekvence)

Equal-width dělí rozsah na stejně široké intervaly. Odlehlá hodnota ho rozhodí. Equal-height dává do každého intervalu stejný počet hodnot a na odlehlé hodnoty je odolnější.

Příklad 2.4 (Vliv odlehlé hodnoty)

Data 1, 2, 3, 4, 5, 100 dělíme na 3 intervaly stejné šířky. Co se stane?

Řešení

Šířka je $(100 - 1) / 3 = 33$ . Prvních pět hodnot padne do prvního intervalu a 100 do třetího, druhý je prázdný. Stejná frekvence dá {1, 2}, {3, 4}, {5, 100}.

2.4 Odlehlé hodnoty

Možnosti: nechat je, nastavit meze, vyřešit binningem, shlukovat nebo sledovat statistiky.

Definice 2.5 (LOF)

Local Outlier Factor porovná lokální hustotu bodu s hustotou jeho $k$ sousedů. Hodnota kolem 1 je normální, výrazně větší značí odlehlý bod.

Výhoda: najde bod odlehlý lokálně, i když globálně vypadá běžně.

2.5 False predictors

Varování 2.6 (Únik informace)

False predictor je pole silně spojené s cílem, protože vzniká současně nebo až po něm, třeba datum ukončení služby u modelu odchodu zákazníků. Na testu je model skvělý, v praxi k ničemu.

Podezřelé je jedno pole s téměř dokonalou přesností.

2.6 Kvíz

Kvíz

1. Co platí o MCAR? Chybění nezávisí na datech Vymazání řádků je při malém podílu přijatelné Chybění závisí na vlastní hodnotě Výsledek po vymazání je obecně nezkreslený

2. Co platí o diskretizaci stejnou šířkou? Intervaly mají stejnou šířku Je citlivá na odlehlé hodnoty V každém intervalu je stejně hodnot Může vzniknout prázdný interval

3. Co platí o imputaci průměrem? Zmenšuje rozptyl Je citlivá na odlehlé hodnoty Zachovává vztahy mezi proměnnými Je vždy nejlepší

4. Co platí o LOF? Používá lokální hustotu Závisí na volbě

k

Hodnota kolem 1 je normální Vyžaduje štítky tříd

5. Co je false predictor? Pole vzniklé až po cílové události Každé pole s nízkou korelací Pole, které dává podezřele vysokou přesnost Náhodný šum

2.7 Příklady na procvičení

Cvičení 2.7

Sloupec plat v dotazníku chybí hlavně u lidí s vysokými příjmy. Který mechanismus to je a co s tím?

Řešení

MNAR. Vymazání i průměr zkreslí výsledek. Pomůže modelovat mechanismus chybění a přidat indikátor chybějící hodnoty.

2.8 Tahák

Tahák

MCAR náhodně, MAR podle jiných proměnných, MNAR podle sebe.
Vymazat jen MCAR a málo. Průměr zmenší rozptyl.
Equal-width citlivé, equal-height odolnější.
LOF: lokální hustota, kolem 1 normální.
False predictor: vzniká s cílem nebo po něm.

Kapitolu mám prostudovanou