0 dní v řadě · 0 bodů

Tahák · Python · Neuronové sítě a moderní AI

Embeddingy a podobnost

Jak se ze slov stanou čísla, která nesou význam. Měříš podobnost, učíš vektory z textu a stavíš malé sémantické vyhledávání.

Otevřít celou lekciVšechny taháky
python
E = E / np.linalg.norm(E, axis=1, keepdims=True)   # unit length
scores = E @ E[i]                                  # cosine similarity
top = np.argsort(-scores)[:k]                      # best k

# distance² = 2 - 2 * cosine (for unit vectors)

emb = nn.Embedding(vocab_size, 64, padding_idx=0)
vectors = emb(ids)                                 # (B, T) to (B, T, 64)
sim = torch.nn.functional.cosine_similarity(a, b, dim=-1)