# numerická derivace (jen ke kontrole)
(f(x + h) - f(x - h)) / (2 * h)
# pravidla pro zpětný průchod
# c = a + b: a.grad += c.grad; b.grad += c.grad
# c = a * b: a.grad += b * c.grad; b.grad += a * c.grad
# c = a ** n: a.grad += n * a ** (n - 1) * c.grad
# jeden krok
w.grad = 0.0 # vynulovat
L = ztrata(w) # dopředu
L.backward() # dozadu
w.hodnota -= lr * w.grad # krok proti gradientu
# maticově: dL/dW = X.T @ g / n, další vrstva dostane g @ W.TTahák · Python · Neuronové sítě a moderní AI
Backpropagation a autograd
Pochopíš derivaci a řetízkové pravidlo, spočítáš gradient ručně a napíšeš vlastní automatické derivování, jaké mají velké frameworky.