0 dní v řadě · 0 bodů

Tahák · Python · Neuronové sítě a moderní AI

Attention od nuly

Napíšeš scaled dot-product attention, masky, poziční kódování i více hlav v NumPy a natrénuješ model, který si sám najde správnou položku.

Otevřít celou lekciVšechny taháky
python
def attention(Q, K, V, mask=None):
    s = Q @ K.swapaxes(-1, -2) / np.sqrt(Q.shape[-1])
    if mask is not None:
        s = np.where(mask, s, -np.inf)            # False = hidden
    e = np.exp(s - s.max(axis=-1, keepdims=True))
    a = e / e.sum(axis=-1, keepdims=True)
    return a @ V, a

causal = np.tril(np.ones((T, T), dtype=bool))
heads = x.reshape(B, T, H, D // H).transpose(0, 2, 1, 3)

F.scaled_dot_product_attention(q, k, v, attn_mask=allowed)   # True = use
nn.MultiheadAttention(dim, heads, batch_first=True)          # True = block