Startpagina / Samenvattingen / Machine learning lliterature pddf / gewichten-aantal-netwerk

Initialization and Convergence of neural networks

4 belangrijke vragen over Initialization and Convergence of neural networks

Waarom mag je de gewichten van een neuraal netwerk niet initialiseren op 0?

- Neurale netwerken blijven dan steken in een slecht lokaal optimum.
- Er wordt geen gebruik gemaakt van de beschikbaarheid van verborgen eenheden.

Waarom zijn neurale netwerken gevoelig voor hun initialisatie?

- De functie die ze optimaliseren is niet-convex, wat leidt tot veel lokale optima.
- Er bestaan symmetrieën in de ruimte van de knopen, bekend als symmetrische modi.

Wat is de aanbevolen methode voor het initialiseren van de gewichten van een neuraal netwerk?

- Beginnen met kleine willekeurige gewichten zodat het netwerk waarschijnlijk niet valt in triviale, symmetrische lokale optima.

Wat zijn de nadelen van het gebruik van neurale netwerken?

- Groot aantal parameters om af te stellen:
1. Aantal lagen
2. Aantal verborgen eenheden per laag
3. Leerfrequentie van gradient descent
4. Initialisatie
5. Stopiteratie of gewichtsregularisatie
- Gewichten kunnen lastig te interpreteren zijn.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

Machine learning lliterature pddf

Bekijk samenvatting