In het kort
Weights, of modelgewichten, zijn getallen in een neuraal netwerk die beïnvloeden hoe invoer wordt omgezet in uitvoer. Tijdens training worden zulke getallen aangepast om de prestaties op trainingsvoorbeelden te verbeteren. Bij normaal gebruik van een taalmodel blijven de gewichten meestal gelijk. Het model gebruikt ze samen met de informatie uit de huidige opdracht.
Waarom heten ze gewichten?
Een gewicht bepaalt hoe sterk een onderdeel van een berekening meetelt. Een eenvoudige vergelijking is een formule waarin verschillende kenmerken elk een eigen vermenigvuldigingsfactor hebben. Een LLM bevat veel ingewikkelder, opeenvolgende berekeningen. De betekenis zit verspreid over grote aantallen gewichten; er is niet voor ieder feit één herkenbaar vakje dat je kunt openen en wijzigen.
Wat betekenen 7B of 70B parameters?
De B staat voor billion, miljard. Een aanduiding als 7B verwijst doorgaans naar ongeveer zeven miljard modelparameters. Het aantal zegt iets over omvang, maar voorspelt de kwaliteit op jouw taak niet volledig. Architectuur, trainingsdata en verdere training tellen ook mee. Bij sommige modellen worden bovendien niet alle parameters voor ieder token tegelijk gebruikt.
Wat zit er in een modeldownload?
Modelgewichten worden in bestanden opgeslagen. Om een taalmodel te draaien heb je daarnaast passende uitvoersoftware, modelconfiguratie en een tokenizer nodig. De precisie waarin de gewichten zijn opgeslagen beïnvloedt hoeveel ruimte ze vragen. Met quantisatie kun je die opslag veranderen. Het geheugen voor lopende verzoeken en de KV-cache komt boven op het geheugen voor de gewichten.
Een praktisch voorbeeld
Je kunt dezelfde modelversie in verschillende uitvoeringen testen, bijvoorbeeld met gewichten in hogere of lagere precisie. Die uitvoeringen kunnen andere geheugeneisen en uitkomsten hebben. Een download past misschien op je schijf terwijl de toepassing niet goed in het werkgeheugen past. Test daarom ook echte documenten en het beoogde aantal gelijktijdige gebruikers.
Wat betekent toegang tot weights?
Beschikbare gewichten geven je de mogelijkheid het model zelf uit te voeren, als hardware, software en licentie dat toelaten. Het betekent niet dat alle trainingsdata openbaar zijn of dat er geen gebruiksbeperkingen gelden. Leg versie en rechten vast. Zo weet je welk model je beheert en kun je een wijziging in gedrag later vergelijken met de oorspronkelijke uitvoering.
Van begrip naar praktijk
Hoe AITJE dit toepast
Bij een lokale inrichting zorgen we dat de modelgewichten, tokenizer en uitvoersoftware bij elkaar passen. We selecteren een modelversie en precisie die op de gekozen hardware uitvoerbaar zijn. De test omvat ook context en gelijktijdig gebruik. Door de uitvoering vast te leggen, kunnen we later vergelijken of een nieuwe versie of andere configuratie werkelijk beter aansluit op het werk.
Installatie en inrichtingVan uitleg naar toepassing
Wil je weten wat dit voor jouw werk betekent?
