Met de nieuwe taalmodellen is het mogelijk om met de computer overtuigende tekstfragmenten te genereren. In onze demo gebruiken we dit als een interactieve schrijfhulp.
Start de demo, begin met een tekst en druk op de tab-toets voor automatische gegenereerde suggesties voor het vervolg van uw betoog.
De suggesties worden bepaald door de woorden die al in het document staan. Het maakt hiervoor niet uit of deze door uzelf zijn getypt of dat dit eerdere geaccepteerde suggesties waren.
Vergeet niet op nogmaals op tab te drukken als u andere suggesties wilt.
Veel succes!
Achtergrond
Het taalmodel wat bij deze demo gebruikt wordt is gebaseerd op GPT2. Dit model is opgebouwd uit een neuraal netwerk wat bestaat uit zogenaamde transformers. Deze structuren bestaan uit een encoder en een decoder. Met de encoder wordt de ingevoerde tekst vertaald naar “tokens” (delen van een woord) die door het neuraal netwerk worden gecodeerd. Met de decoder kan weer nieuwe tekst gegenereerd worden.
Dit model is getraind op een corpus van 8 miljoen documenten en heeft hieruit, zonder tussenkomst van mensen, een intern model van de Engelse taal opgebouwd. Hierbij is het mechanisme van “causal language modeling” gebruikt. Dit betekent dat het model geleerd wordt het best passende volgende woord te voorspellen gegeven een reeks van woorden.
Toepassingen
Praktische toepassing van dit soort modellen worden gemaakt door het te “finetunen”. Dit is een extra trainingstap waarbij specifieke teksten worden aangeboden. Hierdoor kan het model geleerd worden om bijvoorbeeld liedjes te schrijven of computerprogramma’s. Maar wanneer de externe communicatie van een bedrijf gebruikt wordt als trainingsdata kan het bijvoorbeeld ook helpen bij het snel beantwoorden van de binnenkomende correspondentie.