Nel machine learning, quale tecnica aiuta a ridurre l’overfitting in una rete neurale durante l’addestramento?

Risposta corretta: Il dropout, che disattiva casualmente neuroni durante l’addestramento

La risposta corretta è: il dropout, che disattiva casualmente neuroni durante l’addestramento. Spegnendo a caso una percentuale di neuroni a ogni passo, il modello non può affidarsi troppo a singole connessioni e impara rappresentazioni più generali, con un effetto simile a un ensemble di sottoreti. In inferenza il dropout è disattivato e le attivazioni sono scalate per mantenere le stesse aspettative. Le altre opzioni peggiorano l’overfitting o la stabilità: aumentare indefinitamente il learning rate porta spesso a divergenza; addestrare sempre sullo stesso batch limita la varietà e favorisce l’overfitting; rimuovere tutta la regolarizzazione lo amplifica.

Curiosità: un tasso di dropout comune è tra 0,2 e 0,5, spesso applicato agli strati densi. Sulle CNN si usano talvolta valori più bassi o si applica vicino al classificatore finale. Testare diversi tassi è importante perché troppo dropout rallenta o sotto-addestra.

Confusione frequente: il dropout non “rompe” definitivamente i neuroni e non sostituisce data augmentation, early stopping o una buona raccolta dati. È una regolarizzazione complementare: utile contro il sovradattamento, ma non una soluzione universale a ogni problema di generalizzazione.