In 2017 publiceerden onderzoekers van Google een paper waarin zij kunstmatige intelligentie op een vernieuwende manier met tekst om lieten gaan. De titel van het paper was “Attention is all you need” en de technische term die zij introduceerden was Transformer. Transformers bleken beter in staat om teksten te vertalen dan eerdere modellen. Ook presteerden ze beter bij het produceren of aanvullen van nieuwe