Lidsky řečeno
Čištění dat je jako příprava zeleniny. Než začneš vařit, musíš ji umýt, odkrojit nahnilá místa a vyhodit, co se nedá jíst. Nikdo za to nesklidí potlesk, ale když to vynecháš, nezachrání polévku ani nejlepší recept. U dat je to stejné: model ani graf nepoznají, že brno a Brno je jedno město.
Nejdřív se podívej, co máš
Takhle vypadá typický export z českého účetního programu: středníky místo čárek, desetinná čárka, mezery v tisících, ruční poznámky a dva způsoby, jak napsat „nevím“. Znak je nezlomitelná mezera. Na obrazovce vypadá jako obyčejná, ale pro počítač je to jiný znak a Excel ji do čísel dává rád.
io.StringIO předstírá, že text je soubor, takže ukázka nepotřebuje nic na disku.
import io
import pandas as pd
surovy_csv = """jmeno;mesto;vek;plat;nastup
Jana Nová;Brno;34;42 500,50;2021-03-01
petr malý ;brno ;N/A;38 000;2022-07-15
Eva Dvořáková;PRAHA;29;-;2020-11-30
Jana Nová;Brno;34;42 500,50;2021-03-01
Ota Král;Praha;210;51 000;není
"""
df = pd.read_csv(io.StringIO(surovy_csv), sep=";")
print(df)
print()
print(df.dtypes)
print()
print(df.isna().sum())
print()
print("duplicitních řádků:", df.duplicated().sum())
print(df["mesto"].value_counts())
jmeno mesto vek plat nastup 0 Jana Nová Brno 34.0 42 500,50 2021-03-01 1 petr malý brno NaN 38 000 2022-07-15 2 Eva Dvořáková PRAHA 29.0 - 2020-11-30 3 Jana Nová Brno 34.0 42 500,50 2021-03-01 4 Ota Král Praha 210.0 51 000 není jmeno object mesto object vek float64 plat object nastup object dtype: object jmeno 0 mesto 0 vek 1 plat 0 nastup 0 dtype: int64 duplicitních řádků: 1 mesto Brno 2 brno 1 PRAHA 1 Praha 1 Name: count, dtype: int64
Tahle prohlídka trvá chvilku a odhalí skoro všechno:
dtypesukazuje typ sloupců.platmá být číslo, ale je to text (object). Na něm žádný průměr nespočítáš.isna().sum()počítá prázdná místa. pandas poznalN/A, ale pomlčku u platu a slovonenípovažuje za obyčejný text.duplicated()našel Janu podruhé.value_counts()odhalí, žeBrno,brnoaPRAHAjsou pro počítač různá města.- Věk 210 žádná z těch kontrol nezachytila. Na ten dojde později.
Chybějící hodnoty
Prázdné místo se v pandas značí NaN (not a number). Má jednu záludnost: není rovno ničemu, ani samo sobě. Proto se testuje přes isna(), nikdy přes == np.nan.
S chybějící hodnotou můžeš udělat tři věci: nechat ji být, smazat řádek, nebo ji něčím nahradit. Agregace jako mean ji samy přeskočí, takže první možnost bývá lepší, než se zdá. Tipni si, co vypíše tenhle kód.
import pandas as pd
s = pd.Series([1, None, 3])
print(s.mean())
print(s.sum())
print(s.count())
print(len(s))
2.0 4.0 2 3
None se v číselném sloupci změní na NaN a čísla na desetinná. mean a sum prázdné místo přeskočí, count počítá jen vyplněné hodnoty, len všechny řádky.
Další ukázka projde všechny tři možnosti.
import numpy as np
import pandas as pd
teploty = pd.DataFrame({
"den": ["po", "út", "st", "čt", "pá"],
"rano": [12.0, np.nan, 9.0, np.nan, 12.0],
"vecer": [18.0, 17.5, np.nan, 16.0, 19.0],
})
print(np.nan == np.nan)
print(teploty["rano"] == np.nan)
print(teploty["rano"].isna())
print()
print("průměr rána:", teploty["rano"].mean())
print()
print(teploty.dropna())
print()
print(teploty.dropna(subset=["vecer"]))
print()
print(teploty.fillna({"rano": teploty["rano"].median()}))
print()
print(teploty["rano"].ffill())
print(teploty["rano"].interpolate())
False 0 False 1 False 2 False 3 False 4 False Name: rano, dtype: bool 0 False 1 True 2 False 3 True 4 False Name: rano, dtype: bool průměr rána: 11.0 den rano vecer 0 po 12.0 18.0 4 pá 12.0 19.0 den rano vecer 0 po 12.0 18.0 1 út NaN 17.5 3 čt NaN 16.0 4 pá 12.0 19.0 den rano vecer 0 po 12.0 18.0 1 út 12.0 17.5 2 st 9.0 NaN 3 čt 12.0 16.0 4 pá 12.0 19.0 0 12.0 1 12.0 2 9.0 3 9.0 4 12.0 Name: rano, dtype: float64 0 12.0 1 10.5 2 9.0 3 10.5 4 12.0 Name: rano, dtype: float64
Průměr rána je (12 + 9 + 12) / 3 = 11, počítají se jen tři známá čísla. dropna() nechá pondělí a pátek, jediné úplné dny. ffill (forward fill) opíše poslední známou hodnotu a interpolate dopočítá hodnotu mezi sousedy. Obojí dává smysl jen tam, kde na pořadí řádků záleží, typicky u měření v čase.
Proč df[df["a"] == np.nan] vrátí prázdnou tabulku, i když ve sloupci a hodnoty chybí?
Takhle to definuje norma IEEE 754 pro desetinná čísla. Správně je df[df["a"].isna()].
Kolik hodnot chybí?
Kód měl spočítat, kolik hodnot v s chybí. Správně jsou to dvě, ale vyšla nula.
Doplň měření po senzorech
Každý senzor měří jinou teplotu, takže společný průměr by byl nesmysl. Doplň chybějící hodnoty ve sloupci teplota tabulky mereni mediánem daného senzoru. Výsledek ulož zpátky do stejného sloupce.
import numpy as np
import pandas as pd
mereni = pd.DataFrame({
"senzor": ["A", "B", "A", "B", "A", "B", "B"],
"teplota": [20.0, 5.0, np.nan, 7.0, 22.0, np.nan, 9.0],
})
# doplň
Text a typy
Textové sloupce mají přístup .str, který na každou hodnotu použije známé řetězcové metody jako strip, lower nebo replace. Převod na čísla a datum obstarají pd.to_numeric a pd.to_datetime. Parametr errors="coerce" znamená: co nejde převést, nahraď prázdnou hodnotou a nezastavuj se.
Regulární výraz je malý jazyk pro popis vzorů v textu. Tady stačí jediný: \s znamená „jakákoli mezera“ a zachytí i tu nezlomitelnou. Parametr regex=True říká, že první argument je vzor, ne obyčejný text.
import pandas as pd
df = pd.DataFrame({
"jmeno": ["Jana Nová", " petr malý ", "Eva Dvořáková", "Ota Král"],
"mesto": ["Brno", "brno ", "PRAHA", "Praha"],
"plat": ["42 500,50", "38 000", "-", "51 000"],
"nastup": ["2021-03-01", "2022-07-15", "2020-11-30", "není"],
})
df["jmeno"] = df["jmeno"].str.strip().str.title()
df["mesto"] = df["mesto"].str.strip().str.capitalize()
plat_text = df["plat"].str.replace(r"\s", "", regex=True).str.replace(",", ".", regex=False)
df["plat"] = pd.to_numeric(plat_text, errors="coerce")
df["nastup"] = pd.to_datetime(df["nastup"], format="%Y-%m-%d", errors="coerce")
print(df)
print()
print(df.dtypes)
print()
print(df["mesto"].value_counts())
print("součet platů:", df["plat"].sum())
print("rok nástupu:", df["nastup"].dt.year.tolist())
jmeno mesto plat nastup 0 Jana Nová Brno 42500.5 2021-03-01 1 Petr Malý Brno 38000.0 2022-07-15 2 Eva Dvořáková Praha NaN 2020-11-30 3 Ota Král Praha 51000.0 NaT jmeno object mesto object plat float64 nastup datetime64[ns] dtype: object mesto Brno 2 Praha 2 Name: count, dtype: int64 součet platů: 131500.5 rok nástupu: [2021.0, 2022.0, 2020.0, nan]
str.title() dá každému slovu velké první písmeno, str.capitalize() jen prvnímu písmenu celého textu. Součet platů je 42 500,50 + 38 000 + 51 000 = 131 500,50. Pomlčka a není se proměnily v prázdné hodnoty (NaN a NaT, tedy „not a time“).
Nejlevnější čištění je to, které se udělá už při načtení. read_csv umí desetinnou čárku, oddělovač tisíců i vlastní značky pro prázdné hodnoty. V tomhle souboru jsou tisíce oddělené obyčejnou mezerou. Kdyby tam byla nezlomitelná, musel bys napsat thousands="\xa0" (kód nezlomitelné mezery), protože thousands bere jeden konkrétní znak.
import io
import pandas as pd
surovy_csv = """jmeno;vek;plat;nastup
Jana Nová;34;42 500,50;2021-03-01
Petr Malý;N/A;38 000;2022-07-15
Eva Dvořáková;29;-;2020-11-30
Ota Král;41;51 000;není
"""
df = pd.read_csv(
io.StringIO(surovy_csv),
sep=";",
decimal=",",
thousands=" ",
na_values=["-", "není"],
parse_dates=["nastup"],
date_format="%Y-%m-%d",
)
print(df)
print()
print(df.dtypes)
jmeno vek plat nastup 0 Jana Nová 34.0 42500.5 2021-03-01 1 Petr Malý NaN 38000.0 2022-07-15 2 Eva Dvořáková 29.0 NaN 2020-11-30 3 Ota Král 41.0 51000.0 NaT jmeno object vek float64 plat float64 nastup datetime64[ns] dtype: object
Ceny z e-shopu na čísla
Series ceny obsahuje text z webu. Převeď ji na čísla a ulož do cisla. Mezery i Kč musí zmizet, desetinná čárka se změní na tečku a neuvedeno se stane NaN.
import pandas as pd
ceny = pd.Series(["1 200,50 Kč", "890 Kč", "neuvedeno", "2 050 Kč"])
# doplň
Duplicity a sjednocení kategorií
drop_duplicates smaže opakované řádky. S parametrem subset porovnává jen vybrané sloupce, třeba číslo objednávky. Kategorie sjednotíš slovníkem přes map. Má jednu příjemnou vlastnost: co ve slovníku není, změní na NaN, takže hned vidíš hodnoty, se kterými jsi nepočítal.
import pandas as pd
objednavky = pd.DataFrame({
"cislo": [101, 102, 102, 103, 104, 105],
"doprava": ["PPL", "Česká pošta", "Česká pošta", "posta", "ppl ", "dron"],
})
print("stejných řádků:", objednavky.duplicated().sum())
cista = objednavky.drop_duplicates(subset="cislo", keep="first").copy()
sjednoceni = {
"ppl": "PPL",
"česká pošta": "Česká pošta",
"posta": "Česká pošta",
}
cista["doprava"] = cista["doprava"].str.strip().str.lower().map(sjednoceni)
print(cista)
print()
print(cista["doprava"].value_counts())
print("neznámých:", cista["doprava"].isna().sum())
stejných řádků: 1 cislo doprava 0 101 PPL 1 102 Česká pošta 3 103 Česká pošta 4 104 PPL 5 105 NaN doprava PPL 2 Česká pošta 2 Name: count, dtype: int64 neznámých: 1
Máš e-maily Ana@x.cz a ana@x.cz . V jakém pořadí postupovat?
Před sjednocením zápisu jsou to dva různé texty, takže je drop_duplicates nepozná. Nejdřív normalizuj, potom hledej shody.
Unikátní kontakty
V tabulce kontakty sjednoť sloupec email (bez mezer na krajích, malá písmena) a nech pro každý e-mail jen první řádek. Výsledek ulož do cisto.
import pandas as pd
kontakty = pd.DataFrame({
"email": [" Ana@Example.com", "ana@example.com", "BOB@example.com ", "cyril@example.com", "bob@example.com"],
"jmeno": ["Ana", "Anna", "Bob", "Cyril", "Bobek"],
})
# doplň
Nesmysly a odlehlé hodnoty
Věk 210 není chybějící údaj ani špatný typ. Je to platné číslo, které nedává smysl. Máš dva nástroje:
- Pravidlo z oboru, když víš, co je možné: věk zaměstnance je třeba 15 až 100.
- Statistické pravidlo, když to nevíš. Oblíbené je IQR: vezmeš rozpětí mezi prvním a třetím kvartilem a podezřelé je všechno, co leží o víc než 1,5 násobek tohoto rozpětí mimo. Kvartil je hranice, pod kterou leží čtvrtina (první) nebo tři čtvrtiny (třetí) hodnot.
import pandas as pd
vek = pd.Series([34, 41, 29, 38, 210, 33, 45])
q1, q3 = vek.quantile([0.25, 0.75])
iqr = q3 - q1
dolni = q1 - 1.5 * iqr
horni = q3 + 1.5 * iqr
print("hranice:", dolni, horni)
print(vek[~vek.between(dolni, horni)])
print()
print(vek.where(vek.between(15, 100)))
print()
print(vek.clip(upper=100))
hranice: 19.25 57.25 4 210 dtype: int64 0 34.0 1 41.0 2 29.0 3 38.0 4 NaN 5 33.0 6 45.0 dtype: float64 0 34 1 41 2 29 3 38 4 100 5 33 6 45 dtype: int64
Po seřazení je první kvartil 33,5 a třetí 43, takže hranice vycházejí 19,25 a 57,25. where nechá hodnoty, které podmínku splňují, a ostatní změní na NaN. clip je přitlačí na hranici.
Čištění jako funkce
Ruční úpravy v tabulce nejde zopakovat. Až přijdou data za další měsíc, začínal bys znovu. Dej proto celý postup do funkce a na konci si pár pravidel ověř přes assert. Když se zdroj změní, dozvíš se to hned, a ne až z podivného grafu.
import io
import pandas as pd
SUROVA = """jmeno;mesto;vek;plat;nastup
Jana Nová;Brno;34;42 500,50;2021-03-01
petr malý ;brno ;N/A;38 000;2022-07-15
Eva Dvořáková;PRAHA;29;-;2020-11-30
Jana Nová;Brno;34;42 500,50;2021-03-01
Ota Král;Praha;210;51 000;není
"""
def vycisti(df):
plat_text = df["plat"].str.replace(r"\s", "", regex=True).str.replace(",", ".", regex=False)
vysledek = df.assign(
jmeno=df["jmeno"].str.strip().str.title(),
mesto=df["mesto"].str.strip().str.capitalize(),
vek=df["vek"].where(df["vek"].between(15, 100)),
plat=pd.to_numeric(plat_text, errors="coerce"),
nastup=pd.to_datetime(df["nastup"], format="%Y-%m-%d", errors="coerce"),
)
return vysledek.drop_duplicates().reset_index(drop=True)
syrova = pd.read_csv(io.StringIO(SUROVA), sep=";")
cista = vycisti(syrova)
assert cista["jmeno"].is_unique
assert cista["mesto"].isin(["Brno", "Praha"]).all()
assert cista["plat"].dropna().gt(0).all()
print(len(syrova), "->", len(cista), "řádků")
print(cista)
print()
print(cista.isna().sum())
5 -> 4 řádků
jmeno mesto vek plat nastup
0 Jana Nová Brno 34.0 42500.5 2021-03-01
1 Petr Malý Brno NaN 38000.0 2022-07-15
2 Eva Dvořáková Praha 29.0 NaN 2020-11-30
3 Ota Král Praha NaN 51000.0 NaT
jmeno 0
mesto 0
vek 2
plat 1
nastup 1
dtype: int64Duplicity se mažou až po sjednocení textu, jak radil kvíz výš, a porovnávají se celé řádky. Dva různí lidé se stejným jménem by tak zůstali. Po čištění zůstanou 4 lidé. Chybí dva věky (N/A a nesmyslných 210), jeden plat a jedno datum nástupu. Teď už je to poctivý obraz toho, co opravdu víš.
Pod kapotou · typy, které tiše ničí data
Klasický int64 neumí chybějící hodnotu. Jakmile se ve sloupci celých čísel objeví NaN, pandas ho povýší na float64 a čísla nad 2^53 přestanou být přesná. Typickou obětí jsou 64bitová ID z databází a generátorů typu Snowflake. Opačný problém mají identifikátory, které jen vypadají jako čísla: IČO i kódy s nulou na začátku přijdou o první číslice. Řešením je explicitní dtype při načtení. Int64 s velkým I je nullable typ s oddělenou maskou.
import io
import pandas as pd
csv = "ico;zakaznik_id\n00123456;9007199254740993\n04567890;\n"
odhad = pd.read_csv(io.StringIO(csv), sep=";")
print(odhad.dtypes)
print(odhad["ico"].tolist())
print(int(odhad.loc[0, "zakaznik_id"]))
print()
presne = pd.read_csv(
io.StringIO(csv),
sep=";",
dtype={"ico": "string", "zakaznik_id": "Int64"},
)
print(presne.dtypes)
print(presne["ico"].tolist())
print(int(presne.loc[0, "zakaznik_id"]))
ico int64 zakaznik_id float64 dtype: object [123456, 4567890] 9007199254740992 ico string[python] zakaznik_id Int64 dtype: object ['00123456', '04567890'] 9007199254740993
Další věci, které se v kurzech nedozvíš:
- Únik dat. Medián nebo průměr pro doplnění se smí počítat jen z trénovacích dat. Když ho spočítáš z celé tabulky, model nepřímo vidí test. Správné místo pro to je pipeline, viz Pipelines a únik dat.
- Proč data chybí. Statistika rozlišuje chybění zcela náhodné (MCAR), závislé na jiných sloupcích (MAR) a závislé na samotné chybějící hodnotě (MNAR). Jen u prvního nezkreslí doplnění průměrem průměr sloupce, rozptyl ale zmenší vždy. U MNAR nepomůže žádná metoda, která vidí jen data, potřebuješ znalost oboru.
inplace=Truenic nešetří. Většina operací stejně vytváří novou tabulku a řetězenédf["a"].fillna(0, inplace=True)vypisuje v pandas 2.2 varování, protože se s Copy-on-Write přestane propisovat dodf. Pišdf["a"] = df["a"].fillna(0).- Paměť. Sloupec s pár opakovanými texty převedený na
categoryzabere zlomek místa a zrychlígroupby. Skutečnou velikost ukážedf.memory_usage(deep=True).
Spoj nástroj s jeho prací
Ke každé metodě přiřaď, co dělá s daty.