0 dní v řadě · 0 bodů

Tahák · Python · Neuronové sítě a moderní AI

Optimalizátory a trénink sítí

Minibatche, učicí krok, momentum a Adam, inicializace, dropout i předčasné zastavení. Nakonec celý tréninkový cyklus v NumPy.

Otevřít celou lekciVšechny taháky
python
# dávky
poradi = rng.permutation(n)
for s in range(0, n, velikost):
    i = poradi[s:s + velikost]

v = beta * v + g;  w -= lr * v                # momentum

m = b1 * m + (1 - b1) * g                     # Adam
q = b2 * q + (1 - b2) * g ** 2
w -= lr * (m / (1 - b1**t)) / (np.sqrt(q / (1 - b2**t)) + eps)

lr = lr_max * 0.5 * (1 + np.cos(np.pi * t / T))   # kosinový plán
W = rng.randn(a, b) * np.sqrt(2 / a)          # He pro ReLU
h = h * (rng.rand(*h.shape) >= p) / (1 - p)   # dropout, jen trénink
g = g * min(1, max_norma / norma)             # ořezání gradientu