Laat een taalmodel werken.
Je bouwde de onderdelen. Hier zie je een vooraf getraind model aan het werk: rechtstreeks in je browser, met zichtbare grenzen en echte metingen.
Een klein model, helemaal hier.
SmolLM2 · 135 miljoen parameters · q8 · CPU/WASM
Daar komt de rekenruntime bij. Je prompt en antwoord blijven in deze browser. De modelbestanden komen van Hugging Face. Een GPU is niet nodig; op een telefoon kan dit langzaam zijn.
Nog niet geladen
Greedy decoding: elke stap kiest de hoogste kans. Het model is vooral op Engels gericht. Probeer dezelfde vraag in het Nederlands en vergelijk de antwoorden.
¹ Inclusief een eventuele eindtoken. ² Inclusief de eerste token, zonder laden en tokeniseren. Dit is een meting op jouw apparaat, geen vaste snelheid.
Controleer uitspraken zelf: dit kleine model kan fouten maken en herhalen. Het voert geen code of tools uit en leest geen websites. Bij 64 tokens kan een antwoord halverwege stoppen. De stopknop beëindigt de worker; de cache kan blijven staan.
Model, licentie en vaste versie
ONNX-conversie en bestanden · Origineel model: Apache-2.0
5b6682c7c9df18f004bfb7e635cba3f3d98537d8Vijf vaste bestanden met grootte- en SHA-256-controle, ook bij laden uit de modelcache. Het werkgeheugen kan veel groter zijn dan de download. Laden stopt na 180 seconden, genereren na 60 seconden.
Zoeken met echte embeddings
Vergelijk een vraag met eigen passages en bekijk hun berekende cosinusscores in het embedding-lab.
Maak er een experiment van
- Stel een korte, controleerbare vraag. Vergelijk Engels en Nederlands.
- Gebruik 8 en daarna 64 nieuwe tokens. Wat ontbreekt bij het korte antwoord?
- Maak het geheugen vrij en laad opnieuw. Vergelijk de laadtijd en de hoeveelheid uit de cache.
Begrijp wat er gebeurt: sampling, contextvensters, kwantisatie en instructietuning.