Zeneszövegek generálása karakteralapú rekurrens neurális hálózatok segítségével - Kis-Szabó Norbert (2018)
A rekurrens neurális hálók már a 80-as években megjelentek. Ezek olyan szekvenciális modellek, melyek figyelembe veszik a tanulás előző o állapotait a döntéshozatalban. A ma használt rekurrens hálók közül az LSTM, azaz long shot-term memory a legkedveltebb mind közül, mert megoldást talál az RNN-ek egy alapvető problémájára, a gradiensek ˝ drasztikus növekedésére vagy csökkenésére, melyek ellehetetlenítik a hosszútávú tanulást. Ezt a hálótípust alkalmazom dolgozatomban. Dolgozatom célja LSTM rétegekkel létrehozni egy modellt, amely képes megtanulni egy adott előadó zenei stílusát karakterek sorozatát nézve. Pontosabban felteszi magában a kérdést: ha ezt az x hosszú szöveget látom, vajon az előadó mit írna x+1. karakternek? A model létrehozásában a python nyelven elérhető Keras és annak hátterében a TensorFlow keretrendszereket használom. Keras egy API amely elfedi a neurális hálókhoz szükséges matematika nagy részét a fejlesztő elől, így átláthatóbbá téve a kódot, TensorFlow pedig egy eszköz mellyel gépi tanuló szoftvereket könnyedén lehet tanítani gyorsasága miatt, valamint átláthatóvá teszi a fejlesztést a TensorBoard segítségével, mely egy vizualizációs eszköz. Szakdolgozatomban először ismertetem az egyszerű neurális hálókat, működésüket, majd ismertetem a rekurrens hálókat, azok hasznát, és kitérek a problémájukra melyet az LSTM old meg. Ezután ismertetem a Keras keretrendszerét, a TensorFlow működését és ezen belül a TensorBoard-ot. Ezek ismeretében már olvasható a TensorBoard vizualizációja, így megmutatom a tanítások eredményeit.