0 dní v řadě · 0 bodů

Práce s daty · 24 min

Čištění dat

Najdeš chybějící hodnoty, duplicity a nesmysly, převedeš text na čísla a data a poskládáš čištění do opakovatelné funkce.

Hloubka
Úkoly
Lidsky řečeno

Čištění dat je jako příprava zeleniny. Než začneš vařit, musíš ji umýt, odkrojit nahnilá místa a vyhodit, co se nedá jíst. Nikdo za to nesklidí potlesk, ale když to vynecháš, nezachrání polévku ani nejlepší recept. U dat je to stejné: model ani graf nepoznají, že brno a Brno je jedno město.

Nejdřív se podívej, co máš

Takhle vypadá typický export z českého účetního programu: středníky místo čárek, desetinná čárka, mezery v tisících, ruční poznámky a dva způsoby, jak napsat „nevím“. Znak   je nezlomitelná mezera. Na obrazovce vypadá jako obyčejná, ale pro počítač je to jiný znak a Excel ji do čísel dává rád.

io.StringIO předstírá, že text je soubor, takže ukázka nepotřebuje nic na disku.

import io

import pandas as pd

surovy_csv = """jmeno;mesto;vek;plat;nastup
Jana Nová;Brno;34;42 500,50;2021-03-01
  petr malý ;brno ;N/A;38 000;2022-07-15
Eva Dvořáková;PRAHA;29;-;2020-11-30
Jana Nová;Brno;34;42 500,50;2021-03-01
Ota Král;Praha;210;51 000;není
"""

df = pd.read_csv(io.StringIO(surovy_csv), sep=";")
print(df)
print()
print(df.dtypes)
print()
print(df.isna().sum())
print()
print("duplicitních řádků:", df.duplicated().sum())
print(df["mesto"].value_counts())
Výstup
           jmeno  mesto    vek       plat      nastup
0      Jana Nová   Brno   34.0  42 500,50  2021-03-01
1     petr malý   brno     NaN     38 000  2022-07-15
2  Eva Dvořáková  PRAHA   29.0          -  2020-11-30
3      Jana Nová   Brno   34.0  42 500,50  2021-03-01
4       Ota Král  Praha  210.0     51 000        není

jmeno      object
mesto      object
vek       float64
plat       object
nastup     object
dtype: object

jmeno     0
mesto     0
vek       1
plat      0
nastup    0
dtype: int64

duplicitních řádků: 1
mesto
Brno     2
brno     1
PRAHA    1
Praha    1
Name: count, dtype: int64

Tahle prohlídka trvá chvilku a odhalí skoro všechno:

  • dtypes ukazuje typ sloupců. plat má být číslo, ale je to text (object). Na něm žádný průměr nespočítáš.
  • isna().sum() počítá prázdná místa. pandas poznal N/A, ale pomlčku u platu a slovo není považuje za obyčejný text.
  • duplicated() našel Janu podruhé.
  • value_counts() odhalí, že Brno, brno a PRAHA jsou pro počítač různá města.
  • Věk 210 žádná z těch kontrol nezachytila. Na ten dojde později.

Chybějící hodnoty

Prázdné místo se v pandas značí NaN (not a number). Má jednu záludnost: není rovno ničemu, ani samo sobě. Proto se testuje přes isna(), nikdy přes == np.nan.

S chybějící hodnotou můžeš udělat tři věci: nechat ji být, smazat řádek, nebo ji něčím nahradit. Agregace jako mean ji samy přeskočí, takže první možnost bývá lepší, než se zdá. Tipni si, co vypíše tenhle kód.

import pandas as pd

s = pd.Series([1, None, 3])
print(s.mean())
print(s.sum())
print(s.count())
print(len(s))
Výstup
2.0
4.0
2
3

None se v číselném sloupci změní na NaN a čísla na desetinná. mean a sum prázdné místo přeskočí, count počítá jen vyplněné hodnoty, len všechny řádky.

Další ukázka projde všechny tři možnosti.

import numpy as np
import pandas as pd

teploty = pd.DataFrame({
    "den": ["po", "út", "st", "čt", "pá"],
    "rano": [12.0, np.nan, 9.0, np.nan, 12.0],
    "vecer": [18.0, 17.5, np.nan, 16.0, 19.0],
})

print(np.nan == np.nan)
print(teploty["rano"] == np.nan)
print(teploty["rano"].isna())
print()
print("průměr rána:", teploty["rano"].mean())
print()
print(teploty.dropna())
print()
print(teploty.dropna(subset=["vecer"]))
print()
print(teploty.fillna({"rano": teploty["rano"].median()}))
print()
print(teploty["rano"].ffill())
print(teploty["rano"].interpolate())
Výstup
False
0    False
1    False
2    False
3    False
4    False
Name: rano, dtype: bool
0    False
1     True
2    False
3     True
4    False
Name: rano, dtype: bool

průměr rána: 11.0

  den  rano  vecer
0  po  12.0   18.0
4  pá  12.0   19.0

  den  rano  vecer
0  po  12.0   18.0
1  út   NaN   17.5
3  čt   NaN   16.0
4  pá  12.0   19.0

  den  rano  vecer
0  po  12.0   18.0
1  út  12.0   17.5
2  st   9.0    NaN
3  čt  12.0   16.0
4  pá  12.0   19.0

0    12.0
1    12.0
2     9.0
3     9.0
4    12.0
Name: rano, dtype: float64
0    12.0
1    10.5
2     9.0
3    10.5
4    12.0
Name: rano, dtype: float64

Průměr rána je (12 + 9 + 12) / 3 = 11, počítají se jen tři známá čísla. dropna() nechá pondělí a pátek, jediné úplné dny. ffill (forward fill) opíše poslední známou hodnotu a interpolate dopočítá hodnotu mezi sousedy. Obojí dává smysl jen tam, kde na pořadí řádků záleží, typicky u měření v čase.

Kvíz

Proč df[df["a"] == np.nan] vrátí prázdnou tabulku, i když ve sloupci a hodnoty chybí?

Najdi chybu

Kolik hodnot chybí?

Kód měl spočítat, kolik hodnot v s chybí. Správně jsou to dvě, ale vyšla nula.

Úkol

Doplň měření po senzorech

Každý senzor měří jinou teplotu, takže společný průměr by byl nesmysl. Doplň chybějící hodnoty ve sloupci teplota tabulky mereni mediánem daného senzoru. Výsledek ulož zpátky do stejného sloupce.

import numpy as np
import pandas as pd

mereni = pd.DataFrame({
    "senzor": ["A", "B", "A", "B", "A", "B", "B"],
    "teplota": [20.0, 5.0, np.nan, 7.0, 22.0, np.nan, 9.0],
})

# doplň
Výstup

Text a typy

Textové sloupce mají přístup .str, který na každou hodnotu použije známé řetězcové metody jako strip, lower nebo replace. Převod na čísla a datum obstarají pd.to_numeric a pd.to_datetime. Parametr errors="coerce" znamená: co nejde převést, nahraď prázdnou hodnotou a nezastavuj se.

Regulární výraz je malý jazyk pro popis vzorů v textu. Tady stačí jediný: \s znamená „jakákoli mezera“ a zachytí i tu nezlomitelnou. Parametr regex=True říká, že první argument je vzor, ne obyčejný text.

import pandas as pd

df = pd.DataFrame({
    "jmeno": ["Jana Nová", "  petr malý ", "Eva Dvořáková", "Ota Král"],
    "mesto": ["Brno", "brno ", "PRAHA", "Praha"],
    "plat": ["42 500,50", "38 000", "-", "51 000"],
    "nastup": ["2021-03-01", "2022-07-15", "2020-11-30", "není"],
})

df["jmeno"] = df["jmeno"].str.strip().str.title()
df["mesto"] = df["mesto"].str.strip().str.capitalize()

plat_text = df["plat"].str.replace(r"\s", "", regex=True).str.replace(",", ".", regex=False)
df["plat"] = pd.to_numeric(plat_text, errors="coerce")
df["nastup"] = pd.to_datetime(df["nastup"], format="%Y-%m-%d", errors="coerce")

print(df)
print()
print(df.dtypes)
print()
print(df["mesto"].value_counts())
print("součet platů:", df["plat"].sum())
print("rok nástupu:", df["nastup"].dt.year.tolist())
Výstup
           jmeno  mesto     plat     nastup
0      Jana Nová   Brno  42500.5 2021-03-01
1      Petr Malý   Brno  38000.0 2022-07-15
2  Eva Dvořáková  Praha      NaN 2020-11-30
3       Ota Král  Praha  51000.0        NaT

jmeno             object
mesto             object
plat             float64
nastup    datetime64[ns]
dtype: object

mesto
Brno     2
Praha    2
Name: count, dtype: int64
součet platů: 131500.5
rok nástupu: [2021.0, 2022.0, 2020.0, nan]

str.title() dá každému slovu velké první písmeno, str.capitalize() jen prvnímu písmenu celého textu. Součet platů je 42 500,50 + 38 000 + 51 000 = 131 500,50. Pomlčka a není se proměnily v prázdné hodnoty (NaN a NaT, tedy „not a time“).

Nejlevnější čištění je to, které se udělá už při načtení. read_csv umí desetinnou čárku, oddělovač tisíců i vlastní značky pro prázdné hodnoty. V tomhle souboru jsou tisíce oddělené obyčejnou mezerou. Kdyby tam byla nezlomitelná, musel bys napsat thousands="\xa0" (kód nezlomitelné mezery), protože thousands bere jeden konkrétní znak.

import io

import pandas as pd

surovy_csv = """jmeno;vek;plat;nastup
Jana Nová;34;42 500,50;2021-03-01
Petr Malý;N/A;38 000;2022-07-15
Eva Dvořáková;29;-;2020-11-30
Ota Král;41;51 000;není
"""

df = pd.read_csv(
    io.StringIO(surovy_csv),
    sep=";",
    decimal=",",
    thousands=" ",
    na_values=["-", "není"],
    parse_dates=["nastup"],
    date_format="%Y-%m-%d",
)
print(df)
print()
print(df.dtypes)
Výstup
           jmeno   vek     plat     nastup
0      Jana Nová  34.0  42500.5 2021-03-01
1      Petr Malý   NaN  38000.0 2022-07-15
2  Eva Dvořáková  29.0      NaN 2020-11-30
3       Ota Král  41.0  51000.0        NaT

jmeno             object
vek              float64
plat             float64
nastup    datetime64[ns]
dtype: object
Úkol

Ceny z e-shopu na čísla

Series ceny obsahuje text z webu. Převeď ji na čísla a ulož do cisla. Mezery i Kč musí zmizet, desetinná čárka se změní na tečku a neuvedeno se stane NaN.

import pandas as pd

ceny = pd.Series(["1 200,50 Kč", "890 Kč", "neuvedeno", "2 050 Kč"])

# doplň
Výstup

Duplicity a sjednocení kategorií

drop_duplicates smaže opakované řádky. S parametrem subset porovnává jen vybrané sloupce, třeba číslo objednávky. Kategorie sjednotíš slovníkem přes map. Má jednu příjemnou vlastnost: co ve slovníku není, změní na NaN, takže hned vidíš hodnoty, se kterými jsi nepočítal.

import pandas as pd

objednavky = pd.DataFrame({
    "cislo": [101, 102, 102, 103, 104, 105],
    "doprava": ["PPL", "Česká pošta", "Česká pošta", "posta", "ppl ", "dron"],
})

print("stejných řádků:", objednavky.duplicated().sum())
cista = objednavky.drop_duplicates(subset="cislo", keep="first").copy()

sjednoceni = {
    "ppl": "PPL",
    "česká pošta": "Česká pošta",
    "posta": "Česká pošta",
}
cista["doprava"] = cista["doprava"].str.strip().str.lower().map(sjednoceni)

print(cista)
print()
print(cista["doprava"].value_counts())
print("neznámých:", cista["doprava"].isna().sum())
Výstup
stejných řádků: 1
   cislo      doprava
0    101          PPL
1    102  Česká pošta
3    103  Česká pošta
4    104          PPL
5    105          NaN

doprava
PPL            2
Česká pošta    2
Name: count, dtype: int64
neznámých: 1
Kvíz

Máš e-maily Ana@x.cz a ana@x.cz . V jakém pořadí postupovat?

Úkol

Unikátní kontakty

V tabulce kontakty sjednoť sloupec email (bez mezer na krajích, malá písmena) a nech pro každý e-mail jen první řádek. Výsledek ulož do cisto.

import pandas as pd

kontakty = pd.DataFrame({
    "email": [" Ana@Example.com", "ana@example.com", "BOB@example.com ", "cyril@example.com", "bob@example.com"],
    "jmeno": ["Ana", "Anna", "Bob", "Cyril", "Bobek"],
})

# doplň
Výstup

Nesmysly a odlehlé hodnoty

Věk 210 není chybějící údaj ani špatný typ. Je to platné číslo, které nedává smysl. Máš dva nástroje:

  • Pravidlo z oboru, když víš, co je možné: věk zaměstnance je třeba 15 až 100.
  • Statistické pravidlo, když to nevíš. Oblíbené je IQR: vezmeš rozpětí mezi prvním a třetím kvartilem a podezřelé je všechno, co leží o víc než 1,5 násobek tohoto rozpětí mimo. Kvartil je hranice, pod kterou leží čtvrtina (první) nebo tři čtvrtiny (třetí) hodnot.
import pandas as pd

vek = pd.Series([34, 41, 29, 38, 210, 33, 45])

q1, q3 = vek.quantile([0.25, 0.75])
iqr = q3 - q1
dolni = q1 - 1.5 * iqr
horni = q3 + 1.5 * iqr
print("hranice:", dolni, horni)
print(vek[~vek.between(dolni, horni)])
print()
print(vek.where(vek.between(15, 100)))
print()
print(vek.clip(upper=100))
Výstup
hranice: 19.25 57.25
4    210
dtype: int64

0    34.0
1    41.0
2    29.0
3    38.0
4     NaN
5    33.0
6    45.0
dtype: float64

0     34
1     41
2     29
3     38
4    100
5     33
6     45
dtype: int64

Po seřazení je první kvartil 33,5 a třetí 43, takže hranice vycházejí 19,25 a 57,25. where nechá hodnoty, které podmínku splňují, a ostatní změní na NaN. clip je přitlačí na hranici.

Čištění jako funkce

Ruční úpravy v tabulce nejde zopakovat. Až přijdou data za další měsíc, začínal bys znovu. Dej proto celý postup do funkce a na konci si pár pravidel ověř přes assert. Když se zdroj změní, dozvíš se to hned, a ne až z podivného grafu.

import io

import pandas as pd

SUROVA = """jmeno;mesto;vek;plat;nastup
Jana Nová;Brno;34;42 500,50;2021-03-01
  petr malý ;brno ;N/A;38 000;2022-07-15
Eva Dvořáková;PRAHA;29;-;2020-11-30
Jana Nová;Brno;34;42 500,50;2021-03-01
Ota Král;Praha;210;51 000;není
"""


def vycisti(df):
    plat_text = df["plat"].str.replace(r"\s", "", regex=True).str.replace(",", ".", regex=False)
    vysledek = df.assign(
        jmeno=df["jmeno"].str.strip().str.title(),
        mesto=df["mesto"].str.strip().str.capitalize(),
        vek=df["vek"].where(df["vek"].between(15, 100)),
        plat=pd.to_numeric(plat_text, errors="coerce"),
        nastup=pd.to_datetime(df["nastup"], format="%Y-%m-%d", errors="coerce"),
    )
    return vysledek.drop_duplicates().reset_index(drop=True)


syrova = pd.read_csv(io.StringIO(SUROVA), sep=";")
cista = vycisti(syrova)

assert cista["jmeno"].is_unique
assert cista["mesto"].isin(["Brno", "Praha"]).all()
assert cista["plat"].dropna().gt(0).all()

print(len(syrova), "->", len(cista), "řádků")
print(cista)
print()
print(cista.isna().sum())
Výstup
5 -> 4 řádků
           jmeno  mesto   vek     plat     nastup
0      Jana Nová   Brno  34.0  42500.5 2021-03-01
1      Petr Malý   Brno   NaN  38000.0 2022-07-15
2  Eva Dvořáková  Praha  29.0      NaN 2020-11-30
3       Ota Král  Praha   NaN  51000.0        NaT

jmeno     0
mesto     0
vek       2
plat      1
nastup    1
dtype: int64

Duplicity se mažou až po sjednocení textu, jak radil kvíz výš, a porovnávají se celé řádky. Dva různí lidé se stejným jménem by tak zůstali. Po čištění zůstanou 4 lidé. Chybí dva věky (N/A a nesmyslných 210), jeden plat a jedno datum nástupu. Teď už je to poctivý obraz toho, co opravdu víš.

Pod kapotou · typy, které tiše ničí data

Klasický int64 neumí chybějící hodnotu. Jakmile se ve sloupci celých čísel objeví NaN, pandas ho povýší na float64 a čísla nad 2^53 přestanou být přesná. Typickou obětí jsou 64bitová ID z databází a generátorů typu Snowflake. Opačný problém mají identifikátory, které jen vypadají jako čísla: IČO i kódy s nulou na začátku přijdou o první číslice. Řešením je explicitní dtype při načtení. Int64 s velkým I je nullable typ s oddělenou maskou.

import io

import pandas as pd

csv = "ico;zakaznik_id\n00123456;9007199254740993\n04567890;\n"

odhad = pd.read_csv(io.StringIO(csv), sep=";")
print(odhad.dtypes)
print(odhad["ico"].tolist())
print(int(odhad.loc[0, "zakaznik_id"]))
print()

presne = pd.read_csv(
    io.StringIO(csv),
    sep=";",
    dtype={"ico": "string", "zakaznik_id": "Int64"},
)
print(presne.dtypes)
print(presne["ico"].tolist())
print(int(presne.loc[0, "zakaznik_id"]))
Výstup
ico              int64
zakaznik_id    float64
dtype: object
[123456, 4567890]
9007199254740992

ico            string[python]
zakaznik_id             Int64
dtype: object
['00123456', '04567890']
9007199254740993

Další věci, které se v kurzech nedozvíš:

  • Únik dat. Medián nebo průměr pro doplnění se smí počítat jen z trénovacích dat. Když ho spočítáš z celé tabulky, model nepřímo vidí test. Správné místo pro to je pipeline, viz Pipelines a únik dat.
  • Proč data chybí. Statistika rozlišuje chybění zcela náhodné (MCAR), závislé na jiných sloupcích (MAR) a závislé na samotné chybějící hodnotě (MNAR). Jen u prvního nezkreslí doplnění průměrem průměr sloupce, rozptyl ale zmenší vždy. U MNAR nepomůže žádná metoda, která vidí jen data, potřebuješ znalost oboru.
  • inplace=True nic nešetří. Většina operací stejně vytváří novou tabulku a řetězené df["a"].fillna(0, inplace=True) vypisuje v pandas 2.2 varování, protože se s Copy-on-Write přestane propisovat do df. Piš df["a"] = df["a"].fillna(0).
  • Paměť. Sloupec s pár opakovanými texty převedený na category zabere zlomek místa a zrychlí groupby. Skutečnou velikost ukáže df.memory_usage(deep=True).
Spoj dvojice

Spoj nástroj s jeho prací

Ke každé metodě přiřaď, co dělá s daty.