Taalmodellen

Een teken, een byte en een token zijn verschillende dingen

Behoud Unicode en witruimte exact, inspecteer UTF-8 en maak normalisatie een expliciete keuze.

Leer herhaalde byteparen samenvoegen

Bouw paartellingen en niet-overlappende merges en train een reproduceerbare byte-BPE op afzonderlijke documenten.

Gebruik de geleerde merges in hun vaste rangorde

Bouw een verliesvrije encoder en decoder en sla de tokenizer op als gevalideerde JSON-data.

BOUWPROJECT · 90 MIN

Bouw en bewaar je eigen Nederlandse tokenizer

Train een echte byte-BPE, bewaar hem in JSON en meet tokenlengtes en exacte Unicode-roundtrips op aparte tekst.

Geef dezelfde token op een andere plek een positie mee

Voeg geleerde of sinusvormige positie-informatie toe en verzamel de gradiënten van gedeelde tokenrijen en posities.

Laat iedere query informatie uit andere posities mengen

Bouw stabiele gemaskeerde softmax, scaled dot-product attention en de volledige gradiënten voor Q, K en V.

Verdeel de representatie over meerdere attention-heads

Bouw de headtransformaties, vier geleerde projecties en een volledige terugweg die de bijdragen aan X optelt.

Maak van tekst een reeks volgende-tokenopdrachten

Bouw verschoven trainingsvensters en stabiele tokenverliezen, met expliciete behandeling van padding en lege loss-maskers.

LES · 90 MIN

Bouw een volledig pre-norm transformerblok

Combineer LayerNorm, causale multi-head attention, feedforward en twee residualverbindingen met een volledige numeriek gecontroleerde backward-pass.

BOUWPROJECT · 150 MIN

Train een mini-GPT dat zelf tekst vervolgt

Bouw een echt decoder-only taalmodel met eigen NumPy-backprop, train 6.629 parameters en genereer tekst uit een klein Nederlands oefencorpus.

Kies het volgende token met controle over toeval

Implementeer temperature, top-k, nucleus sampling en een reproduceerbare trekking met expliciete grensgevallen.

LES · 90 MIN

Hergebruik keys en values zonder voorspellingen te veranderen

Bouw een echte KV-cache voor de eigen mini-GPT en controleer iedere incrementele stap tegen volledige prefixberekening.

Beheer context, padding en zichtbare posities

Maak een expliciet schuivend venster, linkspadding en een causaal attentionmasker dat paddinguitsluiting behoudt.

Benader gewichten met een kleiner getallenrooster

Implementeer symmetrische en per-kolom kwantisatie, meet reconstructie- en uitvoerfouten en scheid simulatie van echte opslagwinst.

Kies wat een basismodel tijdens pretraining ziet

Bereken een domeinmix, evalueer met vaste gewichten en pak documenten zonder onbedoelde informatieoverdracht.

LES · 90 MIN

Leer een kleine aanpassing met bevroren basisgewichten

Bouw LoRA voor een lineaire laag, controleer alle adaptergradiënten en train een echte rang-één-aanpassing.

Leer van antwoorden zonder de vraag als antwoorddoel te tellen

Serialiseer een klein chatformaat, verschuif labels correct en bereken assistant-only cross-entropy met numeriek gecontroleerde gradiënten.

Leer een voorkeursscore en begrens de beleidsverandering

Reken Bradley-Terry-rewardleren en een exact oplosbaar KL-geregulariseerd beleidsprobleem door, inclusief volledige gradiëntcontrole.

Optimaliseer voorkeuren direct vanuit responslogkansen

Bereken complete responslogkansen, de DPO-loss met referentiemodel en een controle op dubbele of conflicterende voorkeurparen.

Verdeel een rekenbudget tussen model en trainingsdata

Fit een eenvoudige machtswet, onderzoek een verliesmodel en bereken een analytisch optimum onder een vast FLOP-budget.