0 dní v řadě · 0 bodů

Tahák · Python · Python pod kapotou

Mise: streamovací datová pipeline

Postavíš pipeline, která čistí nekonečný proud z čidel, skládá časová okna, hlásí alarmy a zapisuje je po dávkách při stálé paměti.

Otevřít celou lekciVšechny taháky
python
from itertools import batched

def krok(polozky):                      # krok pipeline = generátor
    for p in polozky:
        if je_v_poradku(p):
            yield uprav(p)

linka = krok3(krok2(krok1(zdroj())))    # nic ještě neběží
for davka in batched(linka, 100):       # běh řídí konec linky
    zapis(davka)

# špatná data: spočítej a pokračuj, výjimku z kroku nepouštěj
# okno: zacatek = cas - cas % delka
# stav: slovník podle klíče, ne seznam všech položek
# nový seznam pro každé okno, žádné clear()
# opakování zápisu = riziko duplicit, potřebuješ ID
# souběh: asyncio.Queue(maxsize=N) brzdí rychlý zdroj