0 dní v řadě · 0 bodů

Tahák · Python · Práce s daty

Čištění dat

Najdeš chybějící hodnoty, duplicity a nesmysly, převedeš text na čísla a data a poskládáš čištění do opakovatelné funkce.

Otevřít celou lekciVšechny taháky
python
df.info(); df.dtypes; df.isna().sum()      # první prohlídka
df["a"].value_counts(dropna=False)         # jaké hodnoty tam jsou
df.duplicated().sum()                      # počet duplicit

df.dropna(subset=["a"])                    # smaž řádky bez a
df["a"].fillna(0); df["a"].ffill()         # doplň hodnotu, opiš předchozí
df["a"].fillna(df.groupby("k")["a"].transform("median"))

df["t"].str.strip().str.lower()            # úklid textu
df["t"].str.replace(r"\s", "", regex=True) # i nezlomitelné mezery
pd.to_numeric(s, errors="coerce")          # na čísla, chyby = NaN
pd.to_datetime(s, format="%d.%m.%Y", errors="coerce")
df["k"].map({"a": "A"})                    # neznámé = NaN

df.drop_duplicates(subset="id", keep="first")
s.where(s.between(15, 100))                # mimo rozsah = NaN
s.clip(lower=0, upper=100)                 # přitlač na hranice

pd.read_csv(f, sep=";", decimal=",", thousands=" ",
            na_values=["-"], dtype={"ico": "string"})