Neurale netwerken
Bouw een neuron. Laat het leren. Begrijp elke stap.
Begin dit leerpadVan één neuron naar leren
Een neuron, helemaal van jou
Combineer invoer, gewichten en een activatiefunctie tot je eerste kunstmatige neuron.
Nog te ontdekkenMaak fouten meetbaar
Bouw een verliesfunctie en zet zelf de eerste stappen van gradient descent.
Nog te ontdekkenTrain je eerste model
Een volledig notebook: van vijf meetpunten naar een model dat zelf zijn gewicht en bias leert.
Nog te ontdekkenEen laag rekent veel neuronen tegelijk uit
Gebruik matrixvormen om een dense laag te bouwen, parameters te tellen en twee affine lagen samen te vouwen.
Nog te ontdekkenEen activatie maakt een nieuwe grens mogelijk
Vergelijk ReLU en tanh, bereken hun afgeleiden en bouw een klein netwerk voor XOR.
Nog te ontdekkenVan meerdere scores naar een stabiel verlies
Bouw softmax, cross-entropy uit logits en hun gecombineerde gradiënt zonder numerieke overflow.
Nog te ontdekkenStuur het foutsignaal terug door een heel netwerk
Bouw de voorwaartse en achterwaartse pass van een MLP en controleer ieder parametergradient met eindige verschillen.
Nog te ontdekkenLaat iedere berekening haar herkomst onthouden
Bouw een kleine rekengraaf met lokale afgeleiden en een topologische volgorde die gedeelde knopen herkent.
Nog te ontdekkenTel de bijdragen van alle rekenpaden op
Bouw reverse-mode differentiatie met een seed, een schone reset en numerieke controle op correcte én foutieve lokale afgeleiden.
Nog te ontdekkenTrain XOR met je eigen autograd-engine
Combineer eigen scalar-operaties, een gedeelde rekengraaf en reverse-mode tot een trainbaar netwerk met zeventien parameters.
Nog te ontdekkenGeef het signaal een bruikbaar begin
Kies een schaal op basis van fan-in en fan-out en meet wat er met activaties door meerdere lagen gebeurt.
Nog te ontdekkenLeer met een handvol voorbeelden tegelijk
Maak herhaalbare minibatches, bereken een gemiddelde gradiënt en voer een echte SGD-epoch uit.
Nog te ontdekkenGeef de zoekrichting een geheugen
Bouw momentum, controleer de gekozen updateconventie en vergelijk echte trajecten in een smal verliesdal.
Nog te ontdekkenPas de stapgrootte per parameter aan
Implementeer Adams momentenschattingen, biascorrectie en volledige update met blijvende optimizerstate.
Nog te ontdekkenKies welke waarden samen een schaal krijgen
Implementeer LayerNorm en een kleine BatchNorm, inclusief bewaarde statistieken voor voorspellen.
Nog te ontdekkenBeperk afhankelijkheid van één toevallige fit
Bouw een L2-straf en inverted dropout, inclusief het juiste masker voor de terugweg en een schone evaluatiemodus.
Nog te ontdekkenStuur het leertempo en bewaar de beste stap
Bouw warmup met cosine decay, begrens grote gradiënten en stop op validatieverlies met herstel van de beste parameters.
Nog te ontdekkenBouw en train een MLP op MNIST
Train een eigen NumPy-netwerk op echte cijferafbeeldingen, kies het model met validatie en meet daarna de apart gehouden testset.
Nog te ontdekken