0 dní v řadě · 0 bodů

Tahák · Python · Strojové učení

Gradient boosting

Stovky malých stromů, z nichž každý opravuje chyby těch předchozích. Postavíš boosting v NumPy a naučíš se ho ladit ve scikit-learn.

Otevřít celou lekciVšechny taháky
python
# F = průměr y  (u klasifikace log šance)
# opakuj: r = y - F  (u klasifikace y - p), strom na r, F += lr * strom(x)

from sklearn.ensemble import HistGradientBoostingClassifier

model = HistGradientBoostingClassifier(
    learning_rate=0.05, max_iter=1000, max_leaf_nodes=31,
    min_samples_leaf=20, l2_regularization=1.0,
    early_stopping=True, validation_fraction=0.15,
    n_iter_no_change=20, random_state=0,
).fit(X_tr, y_tr)
model.n_iter_                     # kolik kol se použilo

# GradientBoostingClassifier: n_estimators, max_depth, subsample
# staged_predict_proba(X) = předpovědi po každém kole
# menší learning_rate = více stromů, zastavuj na validaci, ne na testu