Lidsky řečeno
Ve firmě pracuje pět lidí za běžný plat a majitel, který si vyplácí čtvrt milionu. Průměrný plat vyjde krásně a nikdo z pěti ho nedostává. Statistika je sada nástrojů, jak říct o datech pravdu jedním nebo pár čísly, a taky jak poznat, kdy tě někdo těmi čísly vodí za nos.
Střed dat: průměr, medián, modus
Tři různé otázky, tři různá čísla:
- Průměr je součet dělený počtem. Kdyby všichni dostali stejně, tolik by to bylo.
- Medián je prostřední hodnota po seřazení. Polovina je pod ní, polovina nad ní.
- Modus je nejčastější hodnota.
Modul statistics je součástí Pythonu, nic se neinstaluje. Než kód spustíš, tipni si oba první řádky.
import statistics as st
platy = [31, 34, 36, 38, 41, 240] # tisíce Kč, poslední je majitel
print("průměr:", st.mean(platy))
print("medián:", st.median(platy))
print("bez majitele:", st.mean(platy[:-1]), "a", st.median(platy[:-1]))
boty = [42, 43, 41, 43, 44, 42, 43]
print("nejčastější velikost:", st.mode(boty))
print("když je jich víc:", st.multimode([1, 1, 2, 2, 3]))
průměr: 70 medián: 37.0 bez majitele: 36 a 36 nejčastější velikost: 43 když je jich víc: [1, 2]
Jeden člověk posunul průměr z 36 na 70, medián se pohnul jen z 36 na 37. Medián je robustní: krajní hodnoty ho skoro nezajímají. Proto se u platů a cen bytů uvádí spíš on.
Rozptyl: jak moc se data liší
Dvě města mají stejnou průměrnou teplotu, a přesto bys v jednom potřeboval jen tričko a ve druhém celý šatník. Střed nestačí, potřebuješ i rozptyl.
odchylka = hodnota - průměr
rozptyl = součet(odchylka²) / (n - 1)
směrodatná odch. = odmocnina z rozptyluOdchylky se umocňují, aby se kladné a záporné nevyrušily. Odmocnina pak vrátí výsledek do původních jednotek, takže směrodatná odchylka je ve stupních a čte se jako typická vzdálenost od průměru.
import statistics as st
mesta = {
"přímořské": [18, 20, 22, 20, 20],
"vnitrozemské": [5, 35, 20, 10, 30],
}
for nazev, teploty in mesta.items():
print(nazev)
print(" průměr:", st.mean(teploty))
print(" rozpětí:", max(teploty) - min(teploty))
print(" rozptyl:", st.variance(teploty))
print(" směrodatná odchylka:", round(st.stdev(teploty), 2))
přímořské průměr: 20 rozpětí: 4 rozptyl: 2 směrodatná odchylka: 1.41 vnitrozemské průměr: 20 rozpětí: 30 rozptyl: 162.5 směrodatná odchylka: 12.75
Percentil říká, pod jakou hodnotou leží dané procento dat. 90. percentil doby odezvy znamená, že 90 % požadavků bylo rychlejších. Správci serverů ho mají radši než průměr, protože ukazuje, co zažívají ti méně šťastní uživatelé.
import numpy as np
odezva_ms = np.array([120, 135, 140, 150, 155, 160, 170, 180, 210, 900])
print(f"průměr: {odezva_ms.mean():.1f}")
print(f"medián: {np.median(odezva_ms):.1f}")
for p in [25, 75, 90, 99]:
print(f"p{p}: {np.percentile(odezva_ms, p):.1f}")
průměr: 232.0 medián: 157.5 p25: 142.5 p75: 177.5 p90: 279.0 p99: 837.9
Jak daleko od průměru
Z-skóre říká, o kolik směrodatných odchylek je hodnota od průměru: z = (x - průměr) / směrodatná odchylka. Pro seznam body spočítej prumer, odchylka (přes stdev), seznam z_skore a do nejdal ulož tu původní hodnotu, která má největší absolutní z-skóre.
import statistics as st
body = [62, 70, 74, 78, 86, 50, 90]
# doplň
Korelace: jdou dvě věci spolu?
Pearsonova korelace je číslo od -1 do 1. Hodnota 1 znamená, že body leží na rostoucí přímce, -1 na klesající a kolem 0 žádná přímková souvislost není. Pořadová (Spearmanova) varianta porovnává jen pořadí, takže jí nevadí extrémy ani křivka, pokud trend roste pořád stejným směrem.
import statistics as st
hodiny = [1, 2, 3, 4, 5, 6]
body = [52, 55, 61, 64, 70, 72]
print("učení a body:", round(st.correlation(hodiny, body), 3))
x = [-3, -2, -1, 0, 1, 2, 3]
parabola = [v * v for v in x]
print("parabola:", round(abs(st.correlation(x, parabola)), 3))
a = [1, 2, 3, 4, 5]
b = [1, 2, 3, 4, 100]
print("Pearson s extrémem:", round(st.correlation(a, b), 3))
print("pořadová:", round(st.correlation(a, b, method="ranked"), 3))
učení a body: 0.993 parabola: 0.0 Pearson s extrémem: 0.725 pořadová: 1.0
Parabola má korelaci nula, přestože y je na x úplně závislé. Korelace vidí jen přímky, a proto se data mají i kreslit.
Přetahuj body a sleduj, jak se mění korelace a proložená přímka. Zkus jeden bod odtáhnout daleko od ostatních nebo přepnout na oblouk.
V létě roste prodej zmrzliny i počet utonulých a korelace je vysoká. Co z toho plyne?
Korelace neříká nic o příčině. Společná skrytá příčina se odborně nazývá confounder. O příčinnosti rozhoduje až experiment nebo pečlivý návrh studie.
Pravděpodobnost: počítej, nebo simuluj
Pravděpodobnost je číslo od 0 do 1, které říká, jak velkou část případů událost zabere, kdyby se pokus opakoval pořád dokola. Když jsou všechny výsledky stejně pravděpodobné, stačí spočítat příznivé a vydělit všemi. Dvě kostky dají 36 kombinací a součet 7 má šest z nich, tedy 1/6.
Python ti dovolí totéž ověřit hrubou silou. Se zvyšujícím se počtem pokusů se podíl přibližuje skutečné hodnotě. Tomu se říká zákon velkých čísel.
import random
from fractions import Fraction
from itertools import product
vsechny = list(product(range(1, 7), repeat=2))
priznive = [hod for hod in vsechny if sum(hod) == 7]
presne = Fraction(len(priznive), len(vsechny))
print("přesně:", presne, "=", round(float(presne), 4))
random.seed(1)
for n in [10, 100, 1000, 10000, 50000]:
uspechy = sum(random.randint(1, 6) + random.randint(1, 6) == 7 for _ in range(n))
print(f"{n:>6} pokusů: {uspechy / n:.4f}")
přesně: 1/6 = 0.1667
10 pokusů: 0.1000
100 pokusů: 0.2100
1000 pokusů: 0.1690
10000 pokusů: 0.1687
50000 pokusů: 0.1670Dvě pravidla pokryjí většinu úloh. U nezávislých jevů se pravděpodobnosti násobí: dvě šestky za sebou mají 1/6 · 1/6. A pro otázky typu „aspoň jednou“ je nejsnazší jít přes opak: P(aspoň jednou) = 1 - P(ani jednou).
Aspoň jedna šestka
Házíš čtyřikrát kostkou. Do presne spočítej vzorcem pravděpodobnost, že padne aspoň jedna šestka. Do odhad ulož podíl úspěchů ze simulace s aspoň 10 000 pokusy.
import random
random.seed(5)
# doplň
Podmíněná pravděpodobnost a Bayes
P(A | B) čti „pravděpodobnost A, když víme, že nastalo B“. Pozor, P(A | B) a P(B | A) jsou různá čísla. Pravděpodobnost, že pes je savec, je 1. Pravděpodobnost, že savec je pes, rozhodně ne.
Mezi nimi přepíná Bayesova věta. Příklad: v továrně je 1 % výrobků vadných. Kamera zachytí 90 % vadných, ale falešně označí i 5 % dobrých. Kamera právě zapípala. Jak pravděpodobné je, že výrobek je opravdu vadný? Intuice říká 90 %. Počítej radši na 10 000 kusech.
10 000 výrobků
├── 100 vadných -> 90 pípne, 10 proklouzne
└── 9 900 dobrých -> 495 pípne, 9 405 v klidu
pípnutí celkem: 90 + 495 = 585
z toho vadných: 90 / 585vyskyt = 0.01
zachyti = 0.90
falesne = 0.05
pipne_a_vadny = vyskyt * zachyti
pipne_a_dobry = (1 - vyskyt) * falesne
vysledek = pipne_a_vadny / (pipne_a_vadny + pipne_a_dobry)
print(f"P(vadný | pípnutí) = {vysledek:.3f}")
print(f"přes počty: {90 / 585:.3f}")
P(vadný | pípnutí) = 0.154 přes počty: 0.154
Jen asi 15 %. Dobrých výrobků je tolik, že i malé procento jejich planých poplachů přehluší ty skutečné. Stejný jev potká každý detektor vzácných událostí: filtry podvodů, bezpečnostní alarmy i modely, ke kterým se dostaneš v lekci o metrikách.
Bayes jako funkce
Napiš funkci po_poplachu(vyskyt, zachyti, falesne), která vrátí pravděpodobnost, že jev opravdu nastal, když detektor spustil poplach.
def po_poplachu(vyskyt, zachyti, falesne):
# doplň
return 0
Rozdělení a proč je všude zvon
Rozdělení popisuje, jak často se které hodnoty objevují. Nejslavnější je normální rozdělení, známý zvon, daný průměrem a směrodatnou odchylkou. Třída NormalDist z modulu statistics s ním umí počítat. cdf(x) vrátí pravděpodobnost hodnoty nejvýš x, inv_cdf(p) dělá opak.
from statistics import NormalDist
# Smyšlený model: doba výroby kusu v sekundách
vyroba = NormalDist(mu=60, sigma=4)
print("do 66 s:", round(vyroba.cdf(66), 3))
print("mezi 56 a 64 s:", round(vyroba.cdf(64) - vyroba.cdf(56), 3))
print("95 % kusů stihneme do:", round(vyroba.inv_cdf(0.95), 1), "s")
standard = NormalDist()
for k in [1, 2, 3]:
podil = standard.cdf(k) - standard.cdf(-k)
print(f"do {k} sigma od průměru: {podil:.1%}")
do 66 s: 0.933 mezi 56 a 64 s: 0.683 95 % kusů stihneme do: 66.6 s do 1 sigma od průměru: 68.3% do 2 sigma od průměru: 95.4% do 3 sigma od průměru: 99.7%
Sigma (řecké písmeno σ) je běžné označení směrodatné odchylky. Poslední tři řádky jsou pravidlo 68–95–99,7: v normálním rozdělení leží asi 68 % hodnot do jedné sigmy od průměru, 95 % do dvou a 99,7 % do tří. Proč se zvon objevuje tak často? Vysvětluje to centrální limitní věta: průměr mnoha nezávislých hodnot má přibližně normální rozdělení, ať vypadají původní hodnoty jakkoli. Jedna kostka má rozdělení ploché. Průměr šesti kostek už připomíná zvon a průměr třiceti se stáhne do úzké špičky kolem 3,5. Každý průměr se zaokrouhlí na nejbližší půlku a jeden znak # znamená 40 pokusů.
import random
from collections import Counter
random.seed(3)
def graf(pocet_kostek, pokusu=3000):
print(f"počet kostek v průměru: {pocet_kostek}")
kose = Counter()
for _ in range(pokusu):
hody = random.choices(range(1, 7), k=pocet_kostek)
kose[round(sum(hody) / pocet_kostek * 2) / 2] += 1
for i in range(2, 13):
hodnota = i / 2
print(f"{hodnota:3.1f} {'#' * (kose[hodnota] // 40)}")
print()
graf(1)
graf(6)
graf(30)
počet kostek v průměru: 1 1.0 ########### 1.5 2.0 ############# 2.5 3.0 ############ 3.5 4.0 ############ 4.5 5.0 ############ 5.5 6.0 ############ počet kostek v průměru: 6 1.0 1.5 2.0 ## 2.5 ####### 3.0 ################ 3.5 #################### 4.0 ################ 4.5 ####### 5.0 ## 5.5 6.0 počet kostek v průměru: 30 1.0 1.5 2.0 2.5 3.0 ############### 3.5 ########################################## 4.0 ############### 4.5 5.0 5.5 6.0
Díky tomu se dá odhadnout, jak přesný je průměr ze vzorku. Směrodatná chyba průměru je s / odmocnina(n), kde s je směrodatná odchylka vzorku a n jeho velikost. Odmocnina má nepříjemný důsledek: pro dvojnásobnou přesnost potřebuješ čtyřikrát víc dat.
Vyber výchozí rozdělení, i hodně nesouměrné, a zvyšuj počet hodnot v jednom průměru. Histogram průměrů se blíží zvonu a zároveň se zužuje.
Je ten rozdíl skutečný?
Nový návrh formuláře zkrátil průměrnou dobu vyplnění o několik sekund. Je to skutečné zlepšení, nebo náhoda? Na dvě otázky stačí dvě simulace, statistické tabulky ani vzorce nepotřebuješ.
Bootstrap odhaduje nejistotu. Z dat losuješ s vracením stejně velké vzorky a sleduješ, jak moc výsledek kolísá. Prostředních 95 % výsledků dává přibližný interval spolehlivosti.
import random
import statistics as st
stary = [41, 38, 52, 47, 44, 39, 50, 46, 43, 48]
novy = [36, 42, 35, 40, 33, 44, 37, 39, 34, 41]
rozdil = st.fmean(stary) - st.fmean(novy)
print(f"rozdíl průměrů: {rozdil:.1f} s")
random.seed(11)
kola = 2000
vysledky = []
for _ in range(kola):
a = random.choices(stary, k=len(stary))
b = random.choices(novy, k=len(novy))
vysledky.append(st.fmean(a) - st.fmean(b))
vysledky.sort()
dolni = vysledky[int(0.025 * kola)]
horni = vysledky[int(0.975 * kola)]
print(f"95% interval: {dolni:.1f} až {horni:.1f} s")
rozdíl průměrů: 6.7 s 95% interval: 3.5 až 10.1 s
Bootstrap, který nekolísá
Kód měl vytvořit 1000 bootstrapových průměrů, aby bylo vidět, jak moc průměr kolísá. Všechny ale vyšly stejně. Najdi řádek, který za to může.
Permutační test se ptá jinak. Představ si, že na návrhu vůbec nezáleží. Pak jsou popisky „starý“ a „nový“ jen náhodné nálepky a můžeš je libovolně přeházet. Kolikrát takové míchání vytvoří rozdíl aspoň tak velký jako ten skutečný? Ten podíl je p-hodnota.
import random
import statistics as st
stary = [41, 38, 52, 47, 44, 39, 50, 46, 43, 48]
novy = [36, 42, 35, 40, 33, 44, 37, 39, 34, 41]
rozdil = st.fmean(stary) - st.fmean(novy)
random.seed(12)
spolecne = stary + novy
kola = 2000
aspon_tak_velke = 0
for _ in range(kola):
random.shuffle(spolecne)
d = st.fmean(spolecne[:10]) - st.fmean(spolecne[10:])
if abs(d) >= abs(rozdil):
aspon_tak_velke += 1
p = (aspon_tak_velke + 1) / (kola + 1)
print(f"p-hodnota: {p:.4f}")
p-hodnota: 0.0045
Vyšlo zhruba 0,005, takže samotná náhoda by takový rozdíl vytvořila asi v jednom případě z dvou set. Sedí to i s bootstrapem: interval od 3,5 do 10,1 sekundy neobsahuje nulu. Deset lidí v každé skupině je ale málo, takže skutečná velikost zlepšení zůstává dost nejistá, jak ukazuje šířka intervalu.
Test vyšel s p = 0,03. Co to znamená?
Podmínka je opačně, než by se člověku líbilo. Stejná záměna P(A | B) a P(B | A) jako u kamery v továrně.
Pojmy ze statistiky
Pod kapotou · pasti, které přežijí code review
Simpsonův paradox. Kurýr A je lepší na obou typech tras a přesto má horší celkový výsledek, protože dostává víc těžkých tras. Agregace přes skrytou proměnnou může obrátit závěr. Než porovnáš součty, udělej groupby podle toho, co ovlivňuje obě strany.
kurýr A kurýr B
město 18/20 = 90 % 64/80 = 80 %
venkov 40/80 = 50 % 8/20 = 40 %
celkem 58/100 = 58 % 72/100 = 72 %Vícenásobné testování. Při hladině 0,05 a 20 nezávislých testech bez skutečného efektu je šance na aspoň jeden falešný nález 1 - 0.95 ** 20, tedy asi 64 %. Korekce Bonferroni dělí hladinu počtem testů, Benjamini-Hochberg kontroluje podíl falešných objevů. Stejně škodí i průběžné nakukování do A/B testu s ukončením při první významnosti. Na to jsou sekvenční metody.
Proč n - 1. Odchylky se měří od průměru vzorku, který je datům nejblíž, jak to jde, takže rozptyl vychází systematicky menší. Besselova korekce to u rozptylu vyrovná. Směrodatná odchylka zůstává mírně podhodnocená, protože odmocnina je nelineární.
Implementace. statistics.mean počítá přesně přes zlomky a je pomalý, fmean používá math.fsum a je několikanásobně rychlejší. np.sum sčítá po dvojicích, takže chyba zaokrouhlení roste jen logaritmicky. statistics.quantiles má výchozí metodu exclusive, kdežto np.percentile lineární interpolaci odpovídající inclusive, a tak se kvartily stejných dat mohou lišit.
Interval spolehlivosti se vztahuje k postupu: při opakování by 95 % takto sestrojených intervalů obsahovalo skutečnou hodnotu. Percentilový bootstrap je u malých a šikmých vzorků nepřesný, scipy.stats.bootstrap proto ve výchozím stavu používá korekci BCa. Permutační test je k dispozici jako scipy.stats.permutation_test a klasická volba pro dva průměry je Welchův t-test, ttest_ind(a, b, equal_var=False). Přičtení jedničky v čitateli i jmenovateli zajišťuje, že odhad p-hodnoty z konečného počtu permutací nikdy nevyjde nulový.