0 dní v řadě · 0 bodů

Práce s daty · 45 min

Mise: průzkum datasetu

Prozkoumáš špinavá data z půjčovny elektrokol, vyčistíš je a zjistíš, proč prostý průměr málem vedl ke špatnému rozhodnutí.

Hloubka
Úkoly
Lidsky řečeno

Než koupíš ojeté auto, nejdeš rovnou podepsat smlouvu. Obejdeš ho, podíváš se pod kapotu, zkontroluješ, jestli tachometr odpovídá stavu sedaček, a teprve pak se bavíš o ceně. S daty je to stejné. Prohlídce dat se říká průzkumová analýza, anglicky exploratory data analysis, zkráceně EDA. Hledáš v ní chyby, zvláštnosti a otázky, na které ses předem neuměl zeptat.

První pohled: co vlastně máš

Export je text ve formátu CSV. Každý řádek je jedna jízda a hodnoty dělí středník, jak to bývá u českých exportů. Sloupce znamenají:

SloupecVýznam
idčíslo jízdy
datumden jízdy
kolotyp kola, A staré, B nové
pocasisucho, nebo dest (aplikace píše bez diakritiky)
minutydélka jízdy
hodnoceniznámka od zákazníka, 1 až 5 hvězdiček, nepovinná

Nic nepočítej, dokud nevíš tři věci: kolik toho je, jakého typu to je a jak to vypadá. shape řekne počet řádků a sloupců, dtypes typ každého sloupce a unique() všechny různé hodnoty.

import io
import pandas as pd

SUROVA = """id;datum;kolo;pocasi;minuty;hodnoceni
1;2026-09-01;A;sucho;22;4
2;2026-09-02;a;sucho;25;5
3;2026-09-04;A;sucho;18;4
4;2026-09-05;A;SUCHO;30;4
5;2026-09-07;A;dest;9,0;3
6;2026-09-09;A;sucho;24;5
7;2026-09-11;A;sucho;27;4
7;2026-09-11;A;sucho;27;4
8;2026-09-12;a;sucho;21;4
9;2026-09-15;A;sucho;26;5
10;2026-09-17;A;sucho;23;4
11;2026-09-19;A;Dest;11;2
12;2026-09-22;A;sucho;24;
13;2026-09-28;B;sucho;28;5
14;2026-10-01;B;Dest;12;3
15;2026-10-02;b;dest;14;3
16;2026-10-05;B;sucho;25,0;4
17;2026-10-06;B;dest;10;2
18;2026-10-08; B;dest;13;3
19;2026-10-09;B;dest;9999;
20;2026-10-12;B;dest;11;4
20;2026-10-12;b;dest;11;4
21;2026-10-14;B ;dest;15;3
22;2026-10-16;b;SUCHO;28;5
23;2026-10-19;B;dest;12,0;3
24;2026-10-21;B;dest;13;
25;2026-10-23;B;dest;8;3
"""

surova = pd.read_csv(io.StringIO(SUROVA), sep=";")

print(surova.shape)
print(surova.head(3))
print()
print(surova.dtypes)
print()
print(sorted(surova["kolo"].unique()))
print(sorted(surova["pocasi"].unique()))
Výstup
(27, 6)
   id       datum kolo pocasi minuty  hodnoceni
0   1  2026-09-01    A  sucho     22        4.0
1   2  2026-09-02    a  sucho     25        5.0
2   3  2026-09-04    A  sucho     18        4.0

id             int64
datum         object
kolo          object
pocasi        object
minuty        object
hodnoceni    float64
dtype: object

[' B', 'A', 'B', 'B ', 'a', 'b']
['Dest', 'SUCHO', 'dest', 'sucho']

io.StringIO jen předstírá, že je text soubor, takže read_csv nepozná rozdíl. Hned tady jsou vidět tři podezřelé věci.

Sloupec minuty má typ object. Čísla by měla být int64 nebo float64, object tu znamená text. Někde ve sloupci tedy sedí hodnota, kterou pandas neumí přečíst jako číslo. V datech ji najdeš snadno: 9,0 má desetinnou čárku.

Kola mají místo dvou typů šest zápisů, protože a, b, B a B jsou pro počítač jiné hodnoty než A a B. Počasí je na tom podobně.

A hodnoceni je float64, přestože hvězdičky jsou celá čísla. Prázdné buňky se načtou jako NaN (not a number, značka pro chybějící hodnotu) a ta se v klasickém číselném sloupci vejde jen mezi desetinná čísla.

Kvíz

Sloupec s cenami se po načtení hlásí jako object. Co je nejrozumnější udělat jako první?

Úkol

Úkol 1: změř škody

Zjisti, jak na tom export je. Vytvoř čtyři proměnné:

  • radku: počet řádků tabulky,
  • chybi_hodnoceni: kolik jízd nemá hodnocení,
  • presne_duplicity: kolik řádků je přesnou kopií některého předchozího,
  • variant_kola: kolik různých zápisů má sloupec kolo.
import io
import pandas as pd

SUROVA = """id;datum;kolo;pocasi;minuty;hodnoceni
1;2026-09-01;A;sucho;22;4
2;2026-09-02;a;sucho;25;5
3;2026-09-04;A;sucho;18;4
4;2026-09-05;A;SUCHO;30;4
5;2026-09-07;A;dest;9,0;3
6;2026-09-09;A;sucho;24;5
7;2026-09-11;A;sucho;27;4
7;2026-09-11;A;sucho;27;4
8;2026-09-12;a;sucho;21;4
9;2026-09-15;A;sucho;26;5
10;2026-09-17;A;sucho;23;4
11;2026-09-19;A;Dest;11;2
12;2026-09-22;A;sucho;24;
13;2026-09-28;B;sucho;28;5
14;2026-10-01;B;Dest;12;3
15;2026-10-02;b;dest;14;3
16;2026-10-05;B;sucho;25,0;4
17;2026-10-06;B;dest;10;2
18;2026-10-08; B;dest;13;3
19;2026-10-09;B;dest;9999;
20;2026-10-12;B;dest;11;4
20;2026-10-12;b;dest;11;4
21;2026-10-14;B ;dest;15;3
22;2026-10-16;b;SUCHO;28;5
23;2026-10-19;B;dest;12,0;3
24;2026-10-21;B;dest;13;
25;2026-10-23;B;dest;8;3
"""

surova = pd.read_csv(io.StringIO(SUROVA), sep=";")

# doplň radku, chybi_hodnoceni, presne_duplicity, variant_kola
Výstup

Duplicita ti vyšla jedna. Podívej se ale na jízdu číslo 20: je tam dvakrát, jednou s B a jednou s b. Dokud se zápisy neshodují, pandas ty řádky za kopii nepovažuje.

Úklid: nejdřív sjednotit, potom mazat

Čištění dat znamená opravit to, co je zapsané různě, a vyřadit to, co nemůže být pravda. Pořadí kroků hraje roli. Tahle malá ukázka to dokazuje.

import pandas as pd

t = pd.DataFrame({"id": [20, 20], "kolo": ["B", "b"], "minuty": [11, 11]})

print("Duplicit před úklidem:", t.duplicated().sum())
t["kolo"] = t["kolo"].str.upper()
print("Duplicit po úklidu:", t.duplicated().sum())
Výstup
Duplicit před úklidem: 0
Duplicit po úklidu: 1

Zbývá 9999 u jízdy číslo 19. Hana k tomu říká: „Aplikace každou jízdu sama ukončí nejpozději po 240 minutách. Když čip na kole neodpoví, zapíše 9999.“ Není to tedy dlouhá jízda, ale zástupná hodnota, číslo v převleku za chybu. Taková jízda nemá ani hodnocení, takže o ní nevíš nic a můžeš ji vyřadit.

Úkol

Úkol 2: napiš úklidovou funkci

Napiš funkci vycisti(tabulka), která vrátí novou uklizenou tabulku a původní nechá beze změny. Funkce postupně:

  1. ve sloupci kolo odstraní okrajové mezery a převede text na velká písmena,
  2. ve sloupci pocasi odstraní mezery a převede text na malá písmena,
  3. ve sloupci minuty nahradí čárku tečkou a převede ho na čísla,
  4. sloupec datum převede na datum,
  5. odstraní duplicitní řádky,
  6. ponechá jen jízdy do 240 minut včetně.
import io
import pandas as pd

SUROVA = """id;datum;kolo;pocasi;minuty;hodnoceni
1;2026-09-01;A;sucho;22;4
2;2026-09-02;a;sucho;25;5
3;2026-09-04;A;sucho;18;4
4;2026-09-05;A;SUCHO;30;4
5;2026-09-07;A;dest;9,0;3
6;2026-09-09;A;sucho;24;5
7;2026-09-11;A;sucho;27;4
7;2026-09-11;A;sucho;27;4
8;2026-09-12;a;sucho;21;4
9;2026-09-15;A;sucho;26;5
10;2026-09-17;A;sucho;23;4
11;2026-09-19;A;Dest;11;2
12;2026-09-22;A;sucho;24;
13;2026-09-28;B;sucho;28;5
14;2026-10-01;B;Dest;12;3
15;2026-10-02;b;dest;14;3
16;2026-10-05;B;sucho;25,0;4
17;2026-10-06;B;dest;10;2
18;2026-10-08; B;dest;13;3
19;2026-10-09;B;dest;9999;
20;2026-10-12;B;dest;11;4
20;2026-10-12;b;dest;11;4
21;2026-10-14;B ;dest;15;3
22;2026-10-16;b;SUCHO;28;5
23;2026-10-19;B;dest;12,0;3
24;2026-10-21;B;dest;13;
25;2026-10-23;B;dest;8;3
"""

surova = pd.read_csv(io.StringIO(SUROVA), sep=";")

def vycisti(tabulka):
    df = tabulka.copy()
    # doplň jednotlivé kroky
    return df

print(vycisti(surova).shape)
Výstup
Pod kapotou · načítání, které nelže

Ruční oprava po načtení je dobrá na průzkum. V produkci patří znalost formátu přímo do načtení, aby změna exportu skončila chybou, a ne tichým posunem čísel.

python
df = pd.read_csv(
    path, sep=";", decimal=",",
    dtype={"id": "int64", "kolo": "string", "pocasi": "string"},
    na_values={"minuty": ["9999"], "hodnoceni": [""]},
    parse_dates=["datum"], date_format="%Y-%m-%d",
    keep_default_na=False,
)

keep_default_na si zaslouží pozornost. Ve výchozím stavu se text NA, null nebo None změní na chybějící hodnotu, takže kód země NA (Namibie) z dat tiše zmizí. Když ho vypneš, musíš prázdné buňky povolit sám, proto je v ukázce "hodnoceni": [""]. Pozor i na verze: pandas 2.2 hlásí text jako object, pandas 3 má pro něj výchozí typ str. Kontroly proto piš přes pd.api.types, ne porovnáním s názvem typu.

Chybějící hodnoty mají tři druhy. MCAR znamená, že chybí zcela náhodně. MAR znamená, že chybění vysvětlí jiné sloupce, třeba že v dešti lidé hodnotí méně. MNAR znamená, že záleží na samotné chybějící hodnotě: kdo byl spokojený průměrně, nemá důvod hodnotit. MNAR z dat samotných neprokážeš a právě u hodnocení je běžný, takže průměr hvězdiček popisuje lidi, kteří hodnotili, ne všechny zákazníky.

Rozložení: jak data vypadají

Uklizená tabulka má 24 jízd. Než začneš porovnávat kola, podívej se na samotné minuty. Průměr je součet vydělený počtem. Medián je prostřední hodnota po seřazení. Tady je vidět, co s nimi udělá jediný zapomenutý nesmysl.

import pandas as pd

minuty = pd.Series([22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
                    28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8])
se_zmetkem = pd.concat([minuty, pd.Series([9999])], ignore_index=True)

print("Čistá data:  průměr", round(minuty.mean(), 2), " medián", minuty.median())
print("S 9999:      průměr", round(se_zmetkem.mean(), 2), " medián", se_zmetkem.median())
print()
print(minuty.describe().round(2))
Výstup
Čistá data:  průměr 18.71  medián 19.5
S 9999:      průměr 417.92  medián 21.0

count    24.00
mean     18.71
std       7.18
min       8.00
25%      12.00
50%      19.50
75%      25.00
max      30.00
dtype: float64

Jedna špatná hodnota vytáhne průměr z necelých 19 minut přes 400, medián se posune jen z 19,5 na 21. Průměr je citlivý na extrémy, medián skoro ne.

describe() vypíše souhrn: počet, průměr, směrodatnou odchylku (jak moc hodnoty kolísají), minimum, maximum a kvartily. Kvartil 25 % je hodnota, pod kterou leží čtvrtina dat, kvartil 75 % je hodnota, pod kterou leží tři čtvrtiny.

Rozdíl mezi nimi se jmenuje IQR (interquartile range) a slouží k hledání odlehlých hodnot, tedy těch, které jsou od ostatních podezřele daleko. Běžné pravidlo:

text
IQR = Q3 - Q1
dolní mez = Q1 - 1,5 * IQR
horní mez = Q3 + 1,5 * IQR
Úkol

Úkol 3: hlídač nesmyslů

Napiš funkci odlehle(s), která dostane sloupec čísel a vrátí jen hodnoty ležící mimo meze podle pravidla IQR. Kdyby Hana příště poslala export s jinou zástupnou hodnotou, funkce ji odhalí sama.

import pandas as pd

se_zmetkem = pd.Series([22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
                        28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8, 9999])

def odlehle(s):
    # doplň výpočet mezí a výběr
    return s.iloc[0:0]

print(list(odlehle(se_zmetkem)))
Výstup

Horní mez tu vychází 44,5 minuty, takže 9999 neprojde. Pravidlo ale jen ukazuje na podezřelé hodnoty. O tom, že jde o chybu, rozhodla až Hanina informace o limitu 240 minut. Dlouhý výlet by mohl být odlehlý a přitom naprosto pravdivý.

Čísla v souhrnu neprozradí všechno. Proto se každý průzkum dívá i na histogram: rozdělí hodnoty do přihrádek a nakreslí, kolik jich v každé je.

import matplotlib.pyplot as plt

minuty = [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
          28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8]

plt.hist(minuty, bins=range(5, 35, 5), edgecolor="black")
plt.xlabel("Délka jízdy (minuty)")
plt.ylabel("Počet jízd")
plt.title("Jízdy mají dva hrby")
plt.show()
Výstup

Přihrádky obsahují 2, 8, 2, 5 a 7 jízd. Uprostřed je dolík: krátké jízdy kolem 12 minut a delší kolem 25, skoro nic mezi nimi. Dva hrby obvykle znamenají, že se v datech míchají dvě různé skupiny. Tuhle stopu si zapamatuj.

Kvíz

Průměrná mzda ve firmě je 95 000 Kč, medián 41 000 Kč. Co to nejspíš znamená?

První odpověď a proč jí nevěřit

Od této chvíle pracuješ s uklizenými daty. Jsou to stejné jízdy, jen seřazené podle kola a počasí a bez sloupců, které už nepotřebuješ, aby se ukázky vešly na obrazovku.

Úkol

Úkol 4: zopakuj Haninu úvahu

Spočítej průměrné minuty a hodnoceni pro každý typ kola a ulož je do tabulky prumery (řádky A a B, sloupce minuty a hodnoceni). Do proměnné rozdil_minut ulož průměrné minuty kola B minus průměrné minuty kola A.

import pandas as pd

jizdy = pd.DataFrame({
    "kolo": ["A"] * 12 + ["B"] * 12,
    "pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
    "minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
               28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
    "hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
                  5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})

# doplň prumery a rozdil_minut
Výstup

Na první pohled má Hana pravdu. Kolo A má průměr 21,67 minuty a hodnocení 4,00. Kolo B má 15,75 minuty a 3,45. Rozdíl skoro šest minut vypadá jasně a bylo by snadné tady skončit.

Jenže histogram ukázal dvě skupiny jízd a ty jsi zatím nevysvětlil. V tabulce je jeden sloupec, který jsi nepoužil: počasí. Křížová tabulka (crosstab) spočítá, kolik jízd spadá do každé kombinace, a pivot_table totéž rozdělí pro průměry.

import pandas as pd

jizdy = pd.DataFrame({
    "kolo": ["A"] * 12 + ["B"] * 12,
    "pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
    "minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
               28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
    "hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
                  5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})

print(pd.crosstab(jizdy["pocasi"], jizdy["kolo"]))
print()
print(jizdy.pivot_table(index="pocasi", columns="kolo", values="hodnoceni", aggfunc="mean").round(2))
Výstup
kolo     A  B
pocasi
dest     2  9
sucho   10  3

kolo       A     B
pocasi
dest    2.50  3.00
sucho   4.33  4.67

Kola A mají deset jízd v suchu a dvě v dešti. Kola B tři v suchu a devět v dešti. Dorazila totiž na konci září, zrovna když začal deštivý podzim.

Úkol

Úkol 5: rozděl to podle počasí

Vytvoř kontingenční tabulku tabulka, kde řádky jsou pocasi, sloupce kolo a hodnoty průměrné minuty. Do rozdil ulož pro každé počasí minuty kola B minus minuty kola A. Do b_delsi_vsude ulož True, pokud je B delší za každého počasí, jinak False.

import pandas as pd

jizdy = pd.DataFrame({
    "kolo": ["A"] * 12 + ["B"] * 12,
    "pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
    "minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
               28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
    "hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
                  5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})

# doplň tabulka, rozdil, b_delsi_vsude
Výstup

V suchu jezdí kola B 27 minut proti 24. V dešti 12 proti 10. Za každého počasí je kolo B lepší, a dohromady vychází horší. Stejně dopadne i hodnocení: v suchu 4,67 proti 4,33, v dešti 3,00 proti 2,50.

Není to chyba ve výpočtu. Jev se jmenuje Simpsonův paradox a stačí na něj obyčejná aritmetika. Celkový průměr je průměr skupin vážený jejich velikostí.

prumer_a = (10 * 24 + 2 * 10) / 12
prumer_b = (3 * 27 + 9 * 12) / 12

print("Kolo A:", round(prumer_a, 2), "  skoro samé jízdy v suchu")
print("Kolo B:", round(prumer_b, 2), "  skoro samé jízdy v dešti")
Výstup
Kolo A: 21.67   skoro samé jízdy v suchu
Kolo B: 15.75   skoro samé jízdy v dešti

Počasí tady hraje roli matoucí proměnné. Ovlivňuje délku jízdy a zároveň souvisí s tím, které kolo se zrovna používalo. Hana tedy z velké části srovnávala září s říjnem, ne kolo s kolem.

import matplotlib.pyplot as plt
import pandas as pd

jizdy = pd.DataFrame({
    "kolo": ["A"] * 12 + ["B"] * 12,
    "pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
    "minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
               28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
})

tabulka = jizdy.pivot_table(index="pocasi", columns="kolo", values="minuty", aggfunc="mean")
ax = tabulka.plot.bar(rot=0)
ax.set_xlabel("Počasí")
ax.set_ylabel("Průměrná délka jízdy (minuty)")
ax.set_title("Za stejného počasí jezdí kola B déle")
plt.show()
Výstup
Kvíz

Lék X má v každé věkové skupině lepší výsledky než lék Y, ale celkově vychází hůř. Co je nejpravděpodobnější vysvětlení?

Pod kapotou · kterou tabulku věřit

Simpsonův paradox nemá čistě statistické řešení. Stejná čísla mohou vést k opačným závěrům podle toho, jak třetí proměnná vzniká, a to v datech napsané není.

Počasí je tu příčina před volbou kola: kolo déšť nezpůsobí. Rozdělení podle něj je proto správné, v řeči kauzální analýzy zavírá zadní cestu (back-door criterion, Judea Pearl). Kdybys ale rozděloval podle „počtu zastávek na nabíjení“, který samo kolo ovlivňuje, odstranil bys část efektu, který chceš měřit. To je mediátor. A rozdělení podle proměnné ovlivněné kolem i spokojeností, třeba „zákazník napsal na podporu“, vyrobí závislost, která neexistuje. To je collider. Než přidáš sloupec do groupby nebo do modelu, odpověz si, co způsobuje co.

Druhá past je překryv. Kolo A má v dešti jen dvě jízdy, takže celý jeho „dešťový“ průměr visí na dvou lidech. Při mnoha segmentech buňky rychle zřídnou a rozdíly mezi nimi začnou být hlavně šum.

Férové srovnání

Hana potřebuje jedno číslo pro každé kolo. Otázka zní: jak by dopadla kola, kdyby obě jezdila za stejného počasí? Vezmeš průměr kola v suchu a v dešti a složíš je se stejnými vahami pro obě kola. Vahou je podíl počasí ve všech jízdách dohromady. Postupu se říká standardizace.

text
férový průměr kola = průměr v suchu * podíl sucha + průměr v dešti * podíl deště
Úkol

Úkol 6: stejné podmínky pro obě kola

Napiš funkci ferovy_prumer(df, kolo, sloupec). Pracuje jen s řádky, kde sloupec není prázdný. Z nich spočítá podíl každého počasí přes obě kola a pak vrátí vážený součet průměrů daného kola.

import pandas as pd

jizdy = pd.DataFrame({
    "kolo": ["A"] * 12 + ["B"] * 12,
    "pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
    "minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
               28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
    "hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
                  5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})

def ferovy_prumer(df, kolo, sloupec):
    # doplň
    return 0.0

print(ferovy_prumer(jizdy, "A", "minuty"))
Výstup

Za stejného počasí vychází kolo A na 17,6 minuty a kolo B na 20,1. U hodnocení je to 3,50 proti 3,91. Pořadí se otočilo.

Pod kapotou · přesný permutační test bez knihoven

Je rozdíl 2,54 minuty víc než náhoda? Při 24 jízdách můžeš vyzkoušet všechna možná přiřazení. Předpokládáš, že typ kola na délce nezáleží, a v rámci každého počasí přerozděluješ štítky A a B. V suchu je 286 možností, v dešti 55, dohromady 15 730. Ptáš se, jak často vyjde rozdíl aspoň tak velký jako ten skutečný.

from itertools import combinations

SUCHO_A = [22, 25, 18, 30, 24, 27, 21, 26, 23, 24]
SUCHO_B = [28, 25, 28]
DEST_A = [9, 11]
DEST_B = [12, 14, 10, 13, 11, 15, 12, 13, 8]
VAHA_SUCHO, VAHA_DEST = 13 / 24, 11 / 24

def rozdil(a, b):
    return sum(b) / len(b) - sum(a) / len(a)

def vsechny_rozdily(a, b):
    vse = a + b
    celkem = sum(vse)
    vysledky = []
    for vyber in combinations(vse, len(b)):
        soucet_b = sum(vyber)
        vysledky.append(soucet_b / len(b) - (celkem - soucet_b) / len(a))
    return vysledky

skutecny = VAHA_SUCHO * rozdil(SUCHO_A, SUCHO_B) + VAHA_DEST * rozdil(DEST_A, DEST_B)
sucho = vsechny_rozdily(SUCHO_A, SUCHO_B)
dest = vsechny_rozdily(DEST_A, DEST_B)

extremni = sum(
    abs(VAHA_SUCHO * x + VAHA_DEST * y) >= abs(skutecny) - 1e-9
    for x in sucho for y in dest
)
vsech = len(sucho) * len(dest)
print(f"Skutečný rozdíl: {skutecny:.2f} min")
print(f"Stejně nebo víc extrémních: {extremni} z {vsech}")
print(f"p = {extremni / vsech:.3f}")
Výstup
Skutečný rozdíl: 2.54 min
Stejně nebo víc extrémních: 1041 z 15730
p = 0.066

Asi 6,6 % přiřazení dá stejně velký nebo větší rozdíl. To je náznak, ne důkaz, a obvyklou hranici 5 % to nesplňuje. Hranice ale není magická, důležitější je, že test odpovídá jen na otázku o náhodě. Nevyloučí sezónu, zkušenost zákazníků ani to, že kola B jsou nová.

Pozor i na rozdvojené cesty (garden of forking paths): hypotézu o počasí jsi našel v těchže datech, na kterých ji testuješ, takže p-hodnota vychází optimističtěji, než by měla. Průzkum hypotézy vytváří, potvrdit je musí nová data. Stejný princip uvidíš u oddělení testovacích dat. Volba vah je také rozhodnutí: podíly všech jízd odpovídají na „co kdyby takhle jezdili všichni“, podíly jen z kola B na „co přineslo B tam, kde se skutečně jezdilo“.

Zpráva pro Hanu

Analýza, kterou nikdo nepřečte, nic nezmění. Zpráva má dát odpověď a poctivě říct, co z dat vyčíst nejde. Tabulku poskládej přímo z výpočtů, ať se při nových datech nemusí opisovat ručně.

import pandas as pd

jizdy = pd.DataFrame({
    "kolo": ["A"] * 12 + ["B"] * 12,
    "pocasi": ["sucho"] * 10 + ["dest"] * 2 + ["sucho"] * 3 + ["dest"] * 9,
    "minuty": [22, 25, 18, 30, 24, 27, 21, 26, 23, 24, 9, 11,
               28, 25, 28, 12, 14, 10, 13, 11, 15, 12, 13, 8],
    "hodnoceni": [4, 5, 4, 4, 5, 4, 4, 5, 4, None, 3, 2,
                  5, 4, 5, 3, 3, 2, 3, 4, 3, 3, None, 3],
})

def ferovy_prumer(df, kolo, sloupec):
    platne = df.dropna(subset=[sloupec])
    vahy = platne["pocasi"].value_counts(normalize=True)
    prumery = platne[platne["kolo"] == kolo].groupby("pocasi")[sloupec].mean()
    return (prumery * vahy).sum()

prosty = jizdy.groupby("kolo")[["minuty", "hodnoceni"]].mean()

print(f"Jízd po úklidu: {len(jizdy)}, z toho hodnocených: {jizdy['hodnoceni'].count()}")
print()
print(f"{'':<28}{'A':>7}{'B':>7}")
for sloupec, nazev in [("minuty", "Minuty"), ("hodnoceni", "Hodnocení")]:
    a, b = prosty.loc["A", sloupec], prosty.loc["B", sloupec]
    print(f"{nazev + ', prostý průměr':<28}{a:>7.2f}{b:>7.2f}")
    a, b = ferovy_prumer(jizdy, "A", sloupec), ferovy_prumer(jizdy, "B", sloupec)
    print(f"{nazev + ', stejné počasí':<28}{a:>7.2f}{b:>7.2f}")
Výstup
Jízd po úklidu: 24, z toho hodnocených: 22

                                  A      B
Minuty, prostý průměr         21.67  15.75
Minuty, stejné počasí         17.58  20.12
Hodnocení, prostý průměr       4.00   3.45
Hodnocení, stejné počasí       3.50   3.91

Text pro Hanu pak může znít takto:

text
Kola B zatím nevracej. Data neukazují, že by byla horší.

Kola B vypadají hůř, protože jezdí hlavně v říjnovém dešti.
Za stejného počasí jsou na tom lehce lépe než kola A:
jízdy jsou asi o 2,5 minuty delší a hodnocení asi o 0,4 hvězdičky vyšší.

Pozor, je to odhad z 24 jízd. Obě kola nikdy nejezdila ve stejný den
a kolo A má v dešti jen dvě jízdy. Jistotu to nedává.

Doporučení: příští měsíc nasaď obě kola současně a typ přiděluj
zákazníkům náhodně. Pak budeme vědět, co způsobuje samo kolo.

Všimni si, co zpráva neříká. Netvrdí, že kola B jsou prokazatelně lepší. Tvrdí, že důvod k jejich vrácení v datech není, a navrhuje levný pokus, který otázku rozhodne. Náhodné přidělení je silné tím, že v průměru vyrovná i to, co jsi neměřil: počasí, sezónu i typ zákazníka.

Kvíz

Který závěr z Haniných dat je poctivý?