Lidsky řečeno
Představ si pytel lístků vysypaný na stůl. Nejdřív je narovnáš a vyhodíš prázdné. Potom je roztřídíš na pochvaly a stížnosti, z každého vypíšeš slova a na čárkovací papír děláš čárky. Nakonec se podíváš, která slova mají čárek nejvíc a která se vyskytují jen na hromádce se stížnostmi. Program dělá totéž, jen nepotřebuje kávu.
Krok 1: narovnat řádky
Každý řádek rozdělíš na hodnocení a text metodou split. Háček je ve svislítku uvnitř textu. Druhý argument split říká, kolikrát nejvýš se má dělit.
radek = " 5 | Milá obsluha | kolo jako nové. "
print(radek.split("|"))
print(radek.split("|", 1))
hvezdy, text = radek.split("|", 1)
print(int(hvezdy), "/", text.strip())
[' 5 ', ' Milá obsluha ', ' kolo jako nové. '] [' 5 ', ' Milá obsluha | kolo jako nové. '] 5 / Milá obsluha | kolo jako nové.
Bez toho druhého argumentu by rozbalení do dvou proměnných skončilo chybou, protože by vznikly tři kusy. int si s mezerami kolem čísla poradí sám, strip je odstraní z textu.
Krok 1: seznam záznamů
Z textu RECENZE vytvoř seznam zaznamy. Každý neprázdný řádek v něm bude n-tice (hvezdy, text), kde hvezdy je celé číslo a text je řetězec bez okrajových mezer. Prázdné řádky přeskoč.
RECENZE = """
5 | Skvělé kolo, milá obsluha a férová cena.
2|Brzdy skoro nefungují. Dlouhé čekání u pokladny!
4 | Kolo jelo dobře, helma byla trochu velká.
1 | Brzdy nefungují, řetěz padal a čekání trvalo hodinu.
5 | Milá obsluha | kolo jako nové, doporučuji.
3 | Kolo v pořádku, ale dlouhé čekání.
5 |Férová cena a krásná trasa podél řeky. Doporučuji!
2 | Řetěz padal, helma chyběla a obsluha neochotná.
4 | Dobře seřízené kolo, milá obsluha.
1 | Neochotná obsluha, špinavé kolo, brzdy pískaly.
5 | Krásná trasa, kolo jelo skvěle. Doporučuji všem.
3 | Cena ujde, helma trochu velká.
"""
zaznamy = []
# doplň
Kolik prvků vrátí "4 | dobré | levné | rychlé".split("|", 1)?
Druhý argument je největší počet dělení. Jedno dělení dá dva kusy a všechna další svislítka zůstanou ve druhém z nich.
Krok 2: první čísla
Průměr dostaneš ze součtu a počtu. Na rozložení hodnocení se hodí slovník jako počítadlo: get vrátí dosavadní počet, nebo nulu, když klíč ještě neexistuje.
velikosti = ["M", "L", "M", "S", "M", "L"]
pocty = {}
for velikost in velikosti:
pocty[velikost] = pocty.get(velikost, 0) + 1
print(pocty)
{'M': 3, 'L': 2, 'S': 1}Krok 2: průměr a rozložení
Ze seznamu zaznamy spočítej prumer hodnocení zaokrouhlený na 2 desetinná místa a slovník rozlozeni, ve kterém je klíčem počet hvězdiček a hodnotou počet recenzí s tímto hodnocením.
zaznamy = [
(5, "Skvělé kolo, milá obsluha a férová cena."),
(2, "Brzdy skoro nefungují. Dlouhé čekání u pokladny!"),
(4, "Kolo jelo dobře, helma byla trochu velká."),
(1, "Brzdy nefungují, řetěz padal a čekání trvalo hodinu."),
(5, "Milá obsluha | kolo jako nové, doporučuji."),
(3, "Kolo v pořádku, ale dlouhé čekání."),
(5, "Férová cena a krásná trasa podél řeky. Doporučuji!"),
(2, "Řetěz padal, helma chyběla a obsluha neochotná."),
(4, "Dobře seřízené kolo, milá obsluha."),
(1, "Neochotná obsluha, špinavé kolo, brzdy pískaly."),
(5, "Krásná trasa, kolo jelo skvěle. Doporučuji všem."),
(3, "Cena ujde, helma trochu velká."),
]
# doplň
Krok 3: rozsekat text na slova
Samotné split() nestačí, protože by k sobě nechalo slova i interpunkci: kolo, a kolo by byla dvě různá slova. Metoda isalpha poznává písmena včetně těch s diakritikou. Všechno ostatní nahradíme mezerou a teprve pak dělíme.
text = "Kolo? Skvělé, hodnotím 10/10!"
ciste = "".join([znak if znak.isalpha() else " " for znak in text.lower()])
print(repr(ciste))
print(ciste.split())
'kolo skvělé hodnotím ' ['kolo', 'skvělé', 'hodnotím']
Rozdělení textu na jednotlivá slova se odborně říká tokenizace a slovům pak tokeny. split() bez argumentu si poradí s libovolně dlouhými mezerami, takže nevadí, že jich po nahrazení vznikne víc za sebou.
Krok 3: tokeny
Vytvoř seznam tokeny. Pro každý záznam v něm bude n-tice (hvezdy, slova), kde slova je seznam slov z textu recenze: malými písmeny, bez interpunkce, ve stejném pořadí jako v textu.
zaznamy = [
(5, "Skvělé kolo, milá obsluha a férová cena."),
(2, "Brzdy skoro nefungují. Dlouhé čekání u pokladny!"),
(4, "Kolo jelo dobře, helma byla trochu velká."),
(1, "Brzdy nefungují, řetěz padal a čekání trvalo hodinu."),
(5, "Milá obsluha | kolo jako nové, doporučuji."),
(3, "Kolo v pořádku, ale dlouhé čekání."),
(5, "Férová cena a krásná trasa podél řeky. Doporučuji!"),
(2, "Řetěz padal, helma chyběla a obsluha neochotná."),
(4, "Dobře seřízené kolo, milá obsluha."),
(1, "Neochotná obsluha, špinavé kolo, brzdy pískaly."),
(5, "Krásná trasa, kolo jelo skvěle. Doporučuji všem."),
(3, "Cena ujde, helma trochu velká."),
]
tokeny = []
# doplň
Krok 4: co se říká nejčastěji
Nejčastější slova každého textu jsou nudná: a, v, se. Říká se jim stop slova a před počítáním se vyhazují. Patří do množiny, protože se na ně ptáš u každého slova a x in mnozina je O(1), jak ukázala lekce o rychlosti.
Na řazení podle četnosti se hodí malý trik. N-tice se porovnávají zleva, takže stačí vyrobit dvojice (-pocet, slovo). Záporné číslo seřadí největší počet dopředu a při shodě rozhodne abeceda.
pocty = {"hruška": 2, "jablko": 5, "banán": 2, "švestka": 1}
serazeno = sorted([(-pocet, slovo) for slovo, pocet in pocty.items()])
print(serazeno)
zebricek = [(slovo, -zaporny) for zaporny, slovo in serazeno]
print(zebricek[:3])
[(-5, 'jablko'), (-2, 'banán'), (-2, 'hruška'), (-1, 'švestka')]
[('jablko', 5), ('banán', 2), ('hruška', 2)]Krok 4: žebříček slov
Spočítej slovník cetnosti se všemi slovy ze všech recenzí, ale bez slov z množiny STOP. Potom vytvoř top5: seznam pěti dvojic (slovo, pocet) od nejčastějšího. Při stejném počtu rozhoduje abecední pořadí, tak jak ho dá sorted.
STOP = {"a", "ale", "byla", "jako", "skoro", "trochu", "u", "v"}
tokeny = [
(5, ["skvělé", "kolo", "milá", "obsluha", "a", "férová", "cena"]),
(2, ["brzdy", "skoro", "nefungují", "dlouhé", "čekání", "u", "pokladny"]),
(4, ["kolo", "jelo", "dobře", "helma", "byla", "trochu", "velká"]),
(1, ["brzdy", "nefungují", "řetěz", "padal", "a", "čekání", "trvalo", "hodinu"]),
(5, ["milá", "obsluha", "kolo", "jako", "nové", "doporučuji"]),
(3, ["kolo", "v", "pořádku", "ale", "dlouhé", "čekání"]),
(5, ["férová", "cena", "a", "krásná", "trasa", "podél", "řeky", "doporučuji"]),
(2, ["řetěz", "padal", "helma", "chyběla", "a", "obsluha", "neochotná"]),
(4, ["dobře", "seřízené", "kolo", "milá", "obsluha"]),
(1, ["neochotná", "obsluha", "špinavé", "kolo", "brzdy", "pískaly"]),
(5, ["krásná", "trasa", "kolo", "jelo", "skvěle", "doporučuji", "všem"]),
(3, ["cena", "ujde", "helma", "trochu", "velká"]),
]
cetnosti = {}
# doplň
Proč se v sorted používá -pocet, a ne sorted(..., reverse=True) nad dvojicemi (pocet, slovo)?
Obrácení platí pro celou n-tici. Minus obrátí jen první část a abeceda u stejných počtů zůstane vzestupná.
Krok 5: co lidem vadí
Nejčastější slovo kolo majitelce nic neřekne. Zajímavá jsou slova, která se opakují ve špatných recenzích a v dobrých se neobjevují. Tady nepočítáme výskyty, ale v kolika recenzích slovo je. Kdo napíše pětkrát „brzdy“, je pořád jeden člověk. Proto se slova každé recenze nejdřív převedou na množinu.
recenze = [
["brzdy", "brzdy", "brzdy", "brzdy"],
["brzdy", "sedlo"],
["sedlo"],
["sedlo", "zvonek"],
]
v_kolika = {}
for slova in recenze:
for slovo in set(slova):
v_kolika[slovo] = v_kolika.get(slovo, 0) + 1
print(sorted(v_kolika.items()))
[('brzdy', 2), ('sedlo', 3), ('zvonek', 1)]Krok 5: slova ze stížností
Za špatné ber recenze s 1 nebo 2 hvězdičkami, za dobré se 4 nebo 5. Recenze se 3 hvězdičkami nepočítej nikam. Vytvoř seznam stiznosti seřazený přes sorted, ve kterém budou slova, která:
- nejsou v
STOP, - jsou alespoň ve 2 různých špatných recenzích,
- nejsou v žádné dobré recenzi.
STOP = {"a", "ale", "byla", "jako", "skoro", "trochu", "u", "v"}
tokeny = [
(5, ["skvělé", "kolo", "milá", "obsluha", "a", "férová", "cena"]),
(2, ["brzdy", "skoro", "nefungují", "dlouhé", "čekání", "u", "pokladny"]),
(4, ["kolo", "jelo", "dobře", "helma", "byla", "trochu", "velká"]),
(1, ["brzdy", "nefungují", "řetěz", "padal", "a", "čekání", "trvalo", "hodinu"]),
(5, ["milá", "obsluha", "kolo", "jako", "nové", "doporučuji"]),
(3, ["kolo", "v", "pořádku", "ale", "dlouhé", "čekání"]),
(5, ["férová", "cena", "a", "krásná", "trasa", "podél", "řeky", "doporučuji"]),
(2, ["řetěz", "padal", "helma", "chyběla", "a", "obsluha", "neochotná"]),
(4, ["dobře", "seřízené", "kolo", "milá", "obsluha"]),
(1, ["neochotná", "obsluha", "špinavé", "kolo", "brzdy", "pískaly"]),
(5, ["krásná", "trasa", "kolo", "jelo", "skvěle", "doporučuji", "všem"]),
(3, ["cena", "ujde", "helma", "trochu", "velká"]),
]
# doplň
Všimni si, že čekání a řetěz skončily až za padal. sorted řadí podle čísel znaků v Unicode a písmena s háčkem tam leží až za celou anglickou abecedou. Na interní zpracování to stačí. Do výstupu pro lidi se správná česká abeceda řeší jinak, viz blok pod kapotou.
Co by se stalo, kdybys v kroku 5 nepoužil set(slova) a počítal každý výskyt?
Podmínka „alespoň ve 2 recenzích“ má zaručit, že si stěžuje víc lidí. Bez množiny by stačilo jedno slovo napsané dvakrát.
Krok 6: zpráva pro majitelku
Majitelka nechce slovník, chce větu. Metoda join spojí seznam řetězců a comprehension s f-stringem si je předtím připraví.
zebricek = [("sedlo", 4), ("zvonek", 2)]
casti = [f"{slovo} ({pocet})" for slovo, pocet in zebricek]
print("Nejčastější:", ", ".join(casti))
Nejčastější: sedlo (4), zvonek (2)
Krok 6: hotová zpráva
Výsledky z předchozích kroků jsou připravené. Vypiš z nich přesně tyto čtyři řádky. Hodnoty ber z proměnných, ať program funguje i pro jiné recenze.
pocet_recenzi = 12
prumer = 3.33
top5 = [("kolo", 7), ("obsluha", 5), ("brzdy", 3), ("cena", 3), ("doporučuji", 3)]
stiznosti = ["brzdy", "nefungují", "neochotná", "padal", "čekání", "řetěz"]
# doplň
Co z toho plyne a kolik to stojí
Výsledek se dá přečíst jedním dechem: hodnocení je průměrné a lidem vadí technický stav kol (brzdy, nefungují, řetěz, padal), čekání a neochotná obsluha. Dvanáct recenzí ovšem není statistika. Je to vodítko, kam se podívat, ne důkaz.
Program navíc poroste s daty dobře. Každý krok projde text jednou a množiny i slovníky odpovídají v konstantním čase, takže desetkrát víc recenzí znamená zhruba desetkrát víc práce. Jediné řazení je o něco dražší a týká se jen počtu různých slov, kterých bývá mnohem méně než slov celkem. Kdybys ale v_dobrych držel v seznamu a ptal se přes in, začal by program s přibývajícími daty brzdit víc a víc.
Pod kapotou · kde se tokenizace rozbije v produkci
Text z reálných zdrojů nemusí být v jednom tvaru. Písmeno á lze v Unicode zapsat jedním znakem (NFC), nebo jako a plus kombinační čárku (NFD), s čímž se potkáš třeba u textu z PDF nebo u názvů souborů z některých systémů. Vypadá to stejně, ale == selže a kombinační znak není písmeno, takže náš tokenizér slovo rozpůlí:
import unicodedata
slozene = "káva"
rozlozene = unicodedata.normalize("NFD", slozene)
print(len(slozene), len(rozlozene), slozene == rozlozene)
ciste = "".join([z if z.isalpha() else " " for z in rozlozene])
print(ciste.split())
opravene = unicodedata.normalize("NFC", rozlozene)
print(opravene == slozene)
surove = "5 | dobré
kolo\n3 | ujde"
print(surove.splitlines())
print(surove.split("\n"))
4 5 False ['ka', 'va'] True ['5 | dobré', 'kolo', '3 | ujde'] ['5 | dobré\u2028kolo', '3 | ujde']
Normalizuj proto hned na vstupu. Druhá past je v konci ukázky: splitlines dělí i podle
, \x85, \x0b, \x0c a dalších oddělovačů, zatímco čtení souboru po řádcích v textovém režimu zná jen \n, \r a \r\n. Jeden znak z webového formuláře tak umí rozbít řádkový formát a int("kolo") pak spadne na výjimce. Když je formát definovaný přes \n, děl přes split("\n"). Pro porovnávání bez ohledu na velikost písmen je přesnější casefold než lower.
Řazení podle češtiny sorted samo neumí. locale.strxfrm závisí na locale nainstalovaném v systému, takže na serveru často tiše nedělá nic užitečného. Spolehlivá cesta je knihovna ICU přes balík PyICU. Dělení podle ne-písmen zase rozbije e-mail nebo Wi-Fi a zahodí čísla, což u recenzí typu „10/10“ může být škoda. Ohýbání slov řeší lematizace, pro češtinu třeba MorphoDiTa z Ústavu formální a aplikované lingvistiky MFF UK.
Pod kapotou · totéž z knihovny a co je za tím
Počítadlo slov je tak běžné, že ho standardní knihovna má hotové:
from collections import Counter
slova = "kolo brzdy kolo helma brzdy kolo sedlo".split()
pocty = Counter(slova)
print(pocty.most_common(2))
print(pocty["zvonek"])
[('kolo', 3), ('brzdy', 2)]
0Counter plní počty přes akcelerovanou funkci v C a most_common(k) používá haldu, tedy O(n log k) místo plného řazení. Při shodě zachovává pořadí prvního výskytu, ne abecedu, takže deterministický žebříček s vlastním pravidlem si stejně složíš přes (-pocet, slovo). Více v lekci collections a itertools, dělení textu přes \w+ pak v regulárních výrazech.
Krok 5 je zárodek metody TF-IDF: slovo je tím zajímavější, čím je častější v dokumentu a vzácnější napříč ostatními. Rozdělení četností slov v přirozeném jazyce je silně nerovnoměrné (Zipfův zákon), proto pár stop slov ubere tolik objemu a proto má dlouhý chvost slov s jediným výskytem tak malou výpovědní hodnotu. Moderní přístup nahrazuje slova vektory, viz Embeddingy a podobnost.