Buda Jakab 2020-ban végzett Survey Statisztika és Adatanalitika szakon az ELTE Társadalomtudományi Karon. Szakdolgozatában visszacsatolt neurális háló (RNN) alapú nyelvi modellekkel és ezekre épülő szövegklasszifikációval foglalkozott, témavezetője Rakovics Márton volt. Szabadúszó adattudósként piaci gépi tanulás projektekben vesz részt, kutatói érdeklődése a különböző gépi tanulás alapú NLP módszerek alkalmazása és az ML modellek értelmezése, értelmezhetősége. Az utóbbi időben számos NLP projektben vett részt, például a PAN 2020-as szerző klasszifikációs feladatában, ahol álhírterjesztők azonosítása volt a cél Twitteren, és csapatban megosztott első helyet ért el.

 

Doktori Kutatás

Gépi tanulás alapú nyelvi modellek megmagyarázhatósága és a megmagyarázható nyelvi modellek felhasználhatósága a társadalomtudományokban

Konzulens: Dr. Németh Renáta

Összefoglaló

Az utóbbi években a gépi tanulási modellekben felismert mintázatok megértése, interpretálása jelentős tudományos diskurzussá vált (ld. pl. Adadi, A., & Berrada, M. (2018), Danilevsky & al. (2020), Gholizadeh, S. & Zhou, N. (2021), Samek, W., et al. (2021), Holzinger, A. et al. (2022), Islam, M. R. et al. (2022)). Ennek egyik oka, hogy egyre nyilvánvalóbb, hogy a hagyományosnak tekinthető fekete doboz szemlélet mellett ezek a modellek gyakran tovább örökítik a társadalomban jelenlévő előítéleteket (ld. pl. Lum és Isaac (2016), Birhane & al. (2022), Wissel & al. (2019), Ntoutsi & al. (2020)).

Ezeknek a megmagyarázható gépi tanulási módszereknek természetesnyelv feldolgozási alkalmazása a társadalomtudományokban egyelőre nem bevett, de izgalmas lehetőségeket nyit meg: a modellek által feltárt mintázatok a társadalmunk működéséről is sokat elárulhatnak (ld. pl Bolukbasi & al. (2016)). Ezért kutatásom elsősorban módszertani fókuszú: célja egy olyan módszertan kialakítás, amely egyének társadalmi jellemzői (pl. kor, nem, végzettség, származás stb.) és a nyelvhasználatuk közt képes megmagyarázható gépi tanulási módszerek segítségével összefüggéseket feltárni. A módszer alapja egy nyelvi modellre épülő regressziós vagy klasszifikációs modell, ami a célváltozót jelzi a bemeneti szövegek alapján. (ld. Radford & al. 2019). A nyelvhasználat és a célváltozó közötti összefüggés kimutatása után a megmagyarázható gépi tanulás eszközeivel arra fogom keresni a választ elmélet és adatvezérlet megközelítéssel, hogy a nyelvhasználat milyen aspektusai vannak erős összefüggésben az adott célváltozóval.

A módszertan bemutatását esettanulmányokon keresztül tervezem: A nyelvi polarizációt, az előítéletek nyelvi megjelenését, és az ideológiai oldalak szerinti nyelvhasználatot fogom vizsgálni hivatali levelezésen, parlamenti beszédeken és az online sajtóban. A jelenségek vizsgálata különböző közegekben lehetőséget ad általánosabb következtetések levonására is (ennek nehézségeiről ld pl. Yan, H. et al. (2017)). Az esettanulmányokat volatilitásvizsgálatokkal egészítem ki, hogy a módszer megbízhatóságáról és reprodukálhatóságáról is képet alkossak.

Hivatkozott irodalom

Adadi, A., & Berrada, M. (2018). Peeking inside the black-box: a survey on explainable artificial intelligence (XAI). IEEE access, 6, 52138-52160.

Birhane, A., Prabhu, V. U. & Whaley, J. (2022). Auditing Saliency Cropping Algorithms. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 4051-4059.

Bolukbasi, T., Chang, K., Zou, J.,Saligrama, V. & Kalai, A. (2016). Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In Proceedings of the 30th International Conference on Neural Information Processing Systems (NIPS’16), 4356–4364.

Danilevsky, M., Qian, K., Aharonov, R., Katsis, Y., Kawas, B. & Sen, P. (2020). A Survey of the State of Explainable AI for Natural Language Processing. AACL

Gholizadeh, S. & Zhou, N. (2021). Model Explainability in Deep Learning Based Natural Language Processing. ArXiv abs/2106.07410

Holzinger, A., Saranti, A., Molnar, C., Biecek, P., Samek, W. (2022). Explainable AI Methods – A Brief Overview. In: Holzinger, A., Goebel, R., Fong, R., Moon, T., Müller, KR., Samek, W. (eds) xxAI – Beyond Explainable AI. xxAI

Islam, M. R., Ahmed, M. U. Barua, S. & Begum, S. (2022). A Systematic Review of Explainable Artificial Intelligence in Terms of Different Application Domains and Tasks. Applied Sciences 12, no. 3: 1353.

Lum, K. & Isaac, W. (2016). To predict and serve?. Significance, 13(5), 14-19.

Ntoutsi, E., Fafalios, P., Gadiraju, U., Iosifidis, V., Nejdl, W., Vidal, M. E., Ruggieri, S., Turini, F., Papadopoulos, S., Krasanakis, E., Kompatsiaris, I., Kinder-Kurlanda, K., Wagner, C., Karimi, F., Fernandez, M., Alani, H., Berendt, B., Kruegel, T., Heinze, C., Broelemann, K., Kasneci, G., Tiropanis T. & Staab, S. (2020). Bias in data‐driven artificial intelligence systems—An introductory survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 10(3), e1356.

Radford, A., Wu, J., Child, J., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI blog, 1(8), 9.

Samek, W., Montavon, G., Lapuschkin, S., Anders, C. J. & Müller, K. -R. (2021) Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications. Proceedings of the IEEE, vol. 109, no. 3. 247-278

Wissel, B. D., Greiner, H. M., Glauser, T.A., Mangano, F.T., Santel, D., Pestian, J.P., Szczesniak, R.D. & Dexheimer, J.W. (2019). Investigation of bias in an epilepsy machine learning algorithm trained on physician notes. Epilepsia. 2019 Sep; 60(9):e93-e98.

Yan, H., Lavoie, A. & Das, S. (2017). The perils of classifying political orientation from text. In LINKDEM@ IJCAI.