Multimodaal & generatief
Onderzoek hoe modellen beeld en geluid begrijpen.
Begin dit leerpadBeelden en taal als vectoren
Maak beeldpatches klaar voor een transformer
Van een expliciet HWC-rooster via gedeelde projectie naar een reeks met CLS en posities.
Nog te ontdekkenLaat beeldtokens elkaar gebruiken
Bereken ongemaskeerde beeldattention, lees CLS uit en tel de scorecellen bij meer resolutie.
Nog te ontdekkenBreng beeld en tekst in dezelfde richting
Normaliseer featurevectoren, vergelijk modaliteiten en bereken het symmetrische contrastieve verlies.
Nog te ontdekkenKies labels zonder een nieuwe head te trainen
Maak promptensembles en onderscheid aangeboden labels, softmaxscherpte en twee retrievalrichtingen.
Nog te ontdekkenVerzwak signaal en voeg gecontroleerde ruis toe
Bereken een cumulatief ruisschema en spring rechtstreeks naar een gekozen ruisniveau.
Nog te ontdekkenLeer welke ruis bij een verstoord punt hoort
Voeg tijdkenmerken toe en bereken ruisvoorspellingen, verlies en eigen netwerkgradiënten.
Nog te ontdekkenGenereer stap voor stap vanuit nieuwe ruis
Gebruik ruisschattingen in de achterwaartse DDPM-stap en bewaar zelfstandige generatiesnapshots.
Nog te ontdekkenTrain en toets een eigen diffusiegenerator
Verbind synthetische data, echte Adamupdates, generatie en verdelingsdiagnostiek in vijf notebookcellen.
Nog te ontdekkenKnip audio in overlappende frames
Verbind digitale samples met tijd en maak zelfstandige frames met een precies behandelde staart.
Nog te ontdekkenMaak vermogens- en melkenmerken
Bereken Hann-venstervermogen, expliciete mel-driehoeken en zeven log-vermogenskenmerken.
Nog te ontdekkenSom transcriptiekansen over CTC-paden
Onderscheid framepaden en transcripties en zie waarom greedy niet altijd de hoogste reekskans vindt.
Nog te ontdekkenBereken CTC-uitlijningen en gradiënten
Bereken stabiele voorwaartse en achterwaartse logmassa, posteriors en echte CTC-logitgradiënten.
Nog te ontdekkenTrain en toets een eigen CTC-framehoofd
Verbind zelfgemaakte toonachtige audio, spectrale kenmerken, echte CTC-training en eerlijke evaluatie.
Nog te ontdekken