# Wat is een token factory?

Officiële pagina: https://aitje.com/kenniscentrum/wat-is-een-token-factory

> Een token factory is een beeldspraak voor infrastructuur die AI-uitvoer produceert. Wat zit er achter zo'n fabriek, en hoe hangt dat samen met inference en kosten?

### In het kort

Token factory is een beeldspraak voor een installatie of platform dat AI-uitvoer op schaal produceert. De term wordt gebruikt rondom AI factories en inference-infrastructuur. Het is geen afzonderlijk soort taalmodel en geen universele technische standaard. In dit artikel gaat het om tokens van AI-modellen, niet om het aanmaken van cryptotokens.

### Wat zit er in zo'n omgeving?

Er zijn modellen, rekenhardware, geheugen, netwerken en software nodig om verzoeken te verwerken. Daar omheen staan onder meer gegevensvoorziening, toegangsbeheer en monitoring. NVIDIA gebruikt AI factory voor een bredere infrastructuur die ook training en andere AI-werkzaamheden kan ondersteunen. Token factory legt vooral de nadruk op de productie van modeluitvoer tijdens gebruik.

### Waarom wordt het een fabriek genoemd?

De vergelijking maakt een keten zichtbaar: gegevens en opdrachten komen binnen, rekenwerk wordt uitgevoerd en bruikbare uitvoer gaat naar toepassingen. Net als bij een productieproces heb je capaciteit, wachtrijen en kwaliteitscontrole. Het woord fabriek zegt echter niets over de kwaliteit van ieder antwoord. Meer geproduceerde tokens kunnen ook meer overbodige tekst betekenen.

### Een praktisch voorbeeld

Een organisatie laat meerdere interne toepassingen dezelfde modelserver gebruiken. Een assistent stelt vragen, een documentworkflow maakt samenvattingen en een ontwikkelaar laat code toelichten. Het platform verdeelt de capaciteit en registreert het gebruik. In klein formaat kan dit al een gedeelde AI-voorziening zijn; de benaming factory vraagt niet automatisch om een groot datacenter.

### Hoe beoordeel je capaciteit en kosten?

Tokens per seconde kunnen nuttig zijn, maar zeggen niet hoeveel gebruikers een goed resultaat krijgen binnen de gewenste tijd. Meet ook wachttijd, bezetting en geslaagde taken. Een machine die de hele dag aanstaat voor een paar korte vragen kan economisch anders uitpakken dan dezelfde machine met een constante werkvoorraad. Stroom, aanschaf en beheer horen daarom bij de vergelijking.

### Wat past bij AITJE?

Begin met de taken en het verwachte gebruik. Voor sommige organisaties past een eigen gedeelde modelserver; voor andere een API of combinatie. Richt de invoer efficiënt in en stuur verschillende taken naar geschikte modellen. Het doel is bruikbare AI-capaciteit met inzicht in gebruik en kosten, niet zoveel mogelijk tokens produceren om het produceren.

## Bronnen

- [NVIDIA — AI factories](https://www.nvidia.com/en-us/solutions/ai-factories/)
- [NVIDIA — Building AI Factories for the Enterprise](https://docs.nvidia.com/enterprise-reference-architectures/white-paper/latest/building-ai-factories-for-the-enterprise.html)

## Contact

[Neem contact op met AITJE](https://aitje.com/contact) — contact@aitje.com