Neurális nyelvi modellek látens szemantikus információ alapján történő maszkolásmentes előtanítása
Cikkünkben bemutatjuk az enkóderalapú nyelvi modellek előtanításának egy olyan lehetséges alternatíváját, amely nem igényli a speciális maszkoló token használatát. Módszerünk lényege abban áll, hogy a neurális modell feladatául az inputban található konkrét szavak rekonstruálása helyett azok felügye...
Elmentve itt :
| Szerző: | |
|---|---|
| Testületi szerző: | |
| Dokumentumtípus: | Könyv része |
| Megjelent: |
Szegedi Tudományegyetem TTIK, Informatikai Intézet
Szeged
2024
|
| Sorozat: | Magyar Számítógépes Nyelvészeti Konferencia
20 |
| Kulcsszavak: | Nyelvészet - számítógép alkalmazása, Maszkolás |
| Tárgyszavak: | |
| Online Access: | http://acta.bibl.u-szeged.hu/88755 |
| Tartalmi kivonat: | Cikkünkben bemutatjuk az enkóderalapú nyelvi modellek előtanításának egy olyan lehetséges alternatíváját, amely nem igényli a speciális maszkoló token használatát. Módszerünk lényege abban áll, hogy a neurális modell feladatául az inputban található konkrét szavak rekonstruálása helyett azok felügyelet nélküli módon előállított, kontextusérzékeny látens szemantikus tulajdonságainak meghatározását tűzzük ki célul. A javasolt előtanítás jobb mintahatékonysággal rendelkezik más maszkolt előtanítás alkalmazásához képest, mivel veszteségfüggvényének kiszámítása során minden egyes inputtoken figyelembe vételére lehetőségünk nyílik, szemben a maszkolásra támaszkodó előtanító eljárásokkal, amelyek csupán az input maszkolásra kiválasztott (jellemzően 15%-nyi) tokenje alapján végzik az előtanítást. Azáltal, hogy az előtanítás során az inputszekvenciákat nem kell mesterségesen módosítanunk a maszk tokenek szerepeltetésével, kiküszöbölhetővé válik az a probléma is, ami a klasszikus maszkolt nyelvi modellezés használata esetén abból adódik, hogy a maszkolásért felelős speciális szimbólumokkal csak az előtanítás során találkozunk, míg a végalkalmazások szövegeiből ezek már hiányoznak. Munkánkban egy DeBERTa architektúrájú neurális modell előtanításán és szövegértési feladatokon történő kiértékelésén keresztül illusztráljuk, hogy a módosított előtanítással létrehozott modell jelentősen jobb teljesítményt képes nyújtani a maszkolt nyelvi modellezéssel történő előtanítással létrehozott modellhez képest. |
|---|---|
| Terjedelem/Fizikai jellemzők: | 85-95 |
| ISBN: | 978-963-306-973-8 |