0 dní v řadě · 0 bodů

Tahák · Python · Neuronové sítě a moderní AI

Jak fungují velké jazykové modely

Tokeny, předpověď dalšího slova, teplota, top-k, top-p, chatová šablona a proč si model umí sebejistě vymýšlet.

Otevřít celou lekciVšechny taháky
python
# greedy vs sampling
token = probs.argmax()
token = rng.choice(len(probs), p=probs)

# temperature
p = softmax(logits / T)

# top-k
keep = np.argsort(p)[::-1][:k]

# top-p
order = np.argsort(p)[::-1]
keep = order[:np.searchsorted(np.cumsum(p[order]), top_p) + 1]

# training target: the same tokens shifted by one
x, y = ids[:-1], ids[1:]
perplexity = np.exp(mean_cross_entropy)