0 dní v řadě · 0 bodů

Tahák · Python · Strojové učení

Přeučení, bias a variance, regularizace

Proč model, který umí data nazpaměť, selhává na nových. Naučíš se přeučení rozpoznat, změřit a zkrotit regularizací.

Otevřít celou lekciVšechny taháky
python
# diagnóza
# trénink špatně, test špatně   -> podučení (bias): složitější model, lepší příznaky
# trénink skvěle, test špatně   -> přeučení (variance): data, regularizace, jednodušší model

# ridge ručně
w = np.linalg.solve(X.T @ X + lam * np.eye(X.shape[1]), X.T @ y)

# měkký práh pro L1
np.sign(w) * np.maximum(np.abs(w) - t, 0)

# scikit-learn
Ridge(alpha=1.0)                              # L2, nic nenuluje
Lasso(alpha=0.1)                              # L1, nuluje váhy
ElasticNet(alpha=0.1, l1_ratio=0.5)           # kombinace
LogisticRegression(C=1.0)                     # menší C = silnější pokuta
DecisionTreeClassifier(max_depth=4, min_samples_leaf=5)