Her er Sondres sammendrag:
I dette innlegget vil jeg gå gjennom hovedutfordringene ved tekstgenerering og hvordan dagens språkmodeller løser disse. Formålet med gjennomgangen er å gi et mer nyansert bilde av hvordan maskinlæring brukes for å modellere tekst utover det å predikere neste token, med et fokus på konkrete tekniske løsninger som tokenisering, posisjonskoding, attention-mekanismen og post-trening. Jeg vil deretter diskutere begrensninger ved dagens modeller med utgangspunkt i semantisk komposisjonalitet, et rammeverk som ofte brukes for å sammenligne kunstige og menneskelige språkferdigheter. Avslutningsvis håper jeg å kunne synse litt om hvorvidt ren statistisk modellering av tekst er tilstrekkelig for å etterape brede kognitive ferdigheter som språk.
Velkommen til alle som er opptatt av språkmodeller og/eller språk!