# okna kontextu
X = np.stack([ids[i:i + ctx] for i in range(len(ids) - ctx)])
y = ids[ctx:]
# dopředný průchod
x = E[X].reshape(len(X), -1) # slepené embeddingy
h = np.tanh(x @ W1 + b1)
logity = h @ W2 + b2
# zpětný průchod (křížová entropie + softmax)
dl = softmax(logity); dl[np.arange(B), y] -= 1; dl /= B
dW2 = h.T @ dl
dp = (dl @ W2.T) * (1 - h ** 2)
dE = np.zeros_like(E); np.add.at(dE, X, (dp @ W1.T).reshape(B, ctx, -1))
# generování
p = softmax(logity / T)
dalsi = rng.choice(V, p=p)
# měření: ztráta na ověření, podlaha = nejistota / délka
# velké modely: attention + maska + AdamW, stejný cíl (další token)Tahák · Python · Neuronové sítě a moderní AI
Mise: znakový jazykový model
Postavíš v NumPy malý jazykový model od nuly: slovník, bigramy, síť s kontextem a vlastním zpětným průchodem, teplotu a generování textu. A uvidíš, proč velké modely potřebují attention.