De vooruitgang van AI blijkt vooral uit betere data te komen

Nederlandse tweedehandsboekhandelaren krijgen plotseling opvallende aanvragen. RTL Nieuws schrijft:

“Tweedehands boekhandelaren krijgen de laatste tijd opvallend grote bestellingen van buitenlandse partijen.”

Sommige bedrijven vragen om duizenden Nederlandse titels. De vermoedelijke reden: de boeken worden gescand om AI-modellen te trainen. Vooral non-fictie is interessant. Zulke boeken bevatten betrouwbare teksten over specifieke onderwerpen, die vaak niet vrij op internet staan.

Een nieuwe analyse van Dwarkesh Patel en Jerry Han helpt verklaren waarom bedrijven zoveel moeite doen om deze boeken te bemachtigen. De onderzoekers vergeleken AI-trainingsmethoden en datasets uit de periode 2019 tot en met 2025. Hun conclusie:

“3.24x more compute efficiency gains have come from data improvements rather than model improvements.”

Simpel gezegd: binnen hun experiment leverden verbeteringen aan de trainingsdata ruim drie keer zoveel efficiëntiewinst op als verbeteringen aan het model zelf. Met betere data kon een AI-model bij dezelfde hoeveelheid rekenkracht veel meer leren.

Dat verandert het beeld van de snelle vooruitgang in AI. Nieuwe modellen trekken meestal de aandacht, maar achter de schermen lijkt minstens zoveel vooruitgang te komen uit het verzamelen, opschonen en selecteren van teksten. De jacht op oude Nederlandse boeken is daarvan een tastbaar voorbeeld. Ze bieden menselijke teksten die niet door eerdere AI-modellen zijn geschreven en die mogelijk nog niet in bestaande datasets zitten.

Daarmee ontstaat ook een grens. Het internet groeit, maar de hoeveelheid bruikbare menselijke tekst is niet onbeperkt. Patel en Han schrijven dat er maar een beperkt aantal manieren is om dezelfde voorraad data beter te selecteren. Als betere data de belangrijkste motor achter de vooruitgang blijft, kan de groei van AI uiteindelijk afzwakken.

Dat is nog geen uitgemaakte zaak. Het onderzoek keek naar relatief kleine modellen en alleen naar de eerste, brede trainingsfase. Recente vooruitgang komt ook uit andere technieken, zoals het gericht trainen van modellen om beter te redeneren. Bovendien kunnen synthetische data, door AI gemaakte oefenvoorbeelden, en nieuwe modelontwerpen nieuwe ruimte creëren.

Voor bedrijven is de belangrijkste les daarom niet dat AI binnenkort stopt met verbeteren. Wel dat de huidige groeicurve mogelijk sterker afhankelijk is van een eindige grondstof dan gedacht. De komende jaren moeten uitwijzen of data slechts het laaghangende fruit was, of werkelijk de brandstof waarop de AI-revolutie draait.