Keelesuurmudelite väheste näidete põhine häälestamine rakenduste arvustuste klassifitseerimiseks: hindamisuuring
Nimi
Hashika Dhananjanie Agalakepu Watthegedara Marasinghe
Kokkuvõte
Rakenduste arvustused on väärtuslikud tagasisideallikad rakenduste arendajatele, pakkudes ülevaateid kasutajate vajadustest ja eelistustest. Siiski teeb suur päevane kasutajaarvustuste hulk käsitsi analüüsi teostamise ebareaalseks, vajades automatiseeritud lahendusi, et tuvastada kasutajaarvustustest arendajatele olulist teavet tarkvara kvaliteedi parandamiseks. Viimased strateegiad arendajatele olulise teabe tuvastamiseks rakenduste arvustustes hõlmavad eelhäälestatud keelemudelite (PLMide) täppishäälestamist arvustuste klassifitseerimise ülesandeks, kasutades märgendatud andmeid. Andmete märgendamise kõrge kulu ja uute rakenduste ja kategooriate pideva ilmumise tõttu rakendusturgudel on ülioluline hinnata hiljutisi tehnikaid nagu eelhäälestamine ja prompt-häälestamine, mis on näidanud edu piiratud andmete olukordades. Eelhäälestamise ja prompt-häälestamise strateegia võimaldab mudelitel iseseisvalt erinevatele ülesannetele kohaneda, kasutades promptide kaudu tutvustatud domeeniteadmisi. Selle uuringu peamine eesmärk on hinnata keelemudelite (LMide) väheste näidete põhise prompt-häälestamise tõhusust arendajatele olulise teabe tuvastamisel rakenduste arvustustes. Selle eesmärgi saavutamiseks võrdleb uuringu esimene uurimisküsimus prompt-häälestamise ja traditsioonilise keelemudeli RoBERTa täppishäälestamise tulemuslikkust andmekitsikuse olukorras kolmel märgendatud arvustuse andmestikul. Teine uurimisküsimus uurib prompt-häälestamise tulemuslikkuse mõju arvustuste teabe klassifitseerimisel keelemudelite (T5 ja GPT-2) valiku ja nende arhitektuuri põhjal. Kolmas ja viimane uurimisküsimus hindab prompti mallide disaini ja verbalisaatori disaini mõju prompt-häälestamise tulemuslikkusele arvustuste teabe klassifitseerimisel. Selle uuringu tulemused näitavad, et prompt-häälestamise lähenemine võib piiratud märgendatud andmete olemasolu korral ületada traditsioonilise täppishäälestamise strateegia. Lisaks täheldati uuringus mudelite tulemuslikkuse varieerumist erinevate arvustuse andmestike vahel, rõhutades mudelivaliku, verbalisaatori disaini ja prompti mallide disaini tähtsust. Need teadmised pakuvad väärtuslikku juhendit prompt-häälestamise tehnikate kasutamiseks rakenduste arvustuste valdkonnas, eriti kontekstides, kus märgendatud andmeid on vähe.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Tarkvaratehnika
Juhendaja(d)
Faiz Ali Shah
Kaitsmise aasta
2024