Csala-Ferencz Bernadett – Depresszió témájú online posztok exploratív klaszterezése

2021.08.11. A depresszió diszkurzív keretezése online fórumok közösségében

Csala-Ferencz Bernadett Új Nemzeti Kiválósági Program ösztöndíjával támogatott kutatása

2021/21-es tanév

Kutatás címe: Depresszió témájú online posztok exploratív klaszterezése

Bernadett a program támogatásával a Research Center for Computational Social Science kutatócsoport keretén belül Németh Renáta témavezetésével angol nyelvű online depresszió-fórumok posztjait kutatta natural language processing (NPL) módszerekkel.

Összefoglaló eredményismertető

A depresszió témájú internetes fórumokon zajló beszélgetések jó lehetőséget nyújtanak arra, hogy jobban megismerhessük a korunkban egyre jobban elterjedt depressziós megbetegedéseket különböző aspektusokból. Munkánk során egyrészt arra fektettük a fókuszt, hogy megismerjük, hogy milyen különböző csoportokba, témákba szerveződnék az ilyen fórumok bejegyzései. Szövegelemzéssel és klaszterelemzési technikákkal sikerült 15 többnyire jól értelmezhető csoportot elkülöníteni a bejegyzések között. Felderítésre került 6 hosszabb, történetmesélő bejegyzéseket tartalmazó klaszter kapcsolati- vagy munkatémákban, valamint bizonytalan diagnózissal, enyhébb tünetekkel, másik személy mentális betegségével vagy elkeseredettséggel kapcsolatban. Találtunk 4 olyan klasztert, melyek főként orvosi-testi témákat tartalmazott, mint gyógyszerek, alvásproblémák, testi fájdalmak és kezelésrezisztens depresszió. Emellett felderítésre került még több egymásnak adott válaszokat, tanácsokat tartalmazó klaszter, valamint egy bipoláris depresszió témájú klaszter is. A témákat megvizsgálva látható, hogy a depresszió biológiai keretezése mutatkozott meg a legszembeötlőbben, de fellelhető volt a betegség pszichológiai és szociológiai megközelítése is. A kutatás másik fókuszpontja arra irányult, hogy a különböző témájú klaszterek közül felfedezhetőek-e olyanok, melyekben feltételezhetően súlyosabb, veszélyeztetett állapotban lévő személyek bejegyzései kerültek. Ehhez kétféle nyelvi markert használtunk fel, melyek korábbi kutatások alapján képesek jelezni súlyosabb depresszió jelenlétét. Ezek az egyes szám első személyű névmások, valamint az abszolút (szélsőséges) szavak fokozottabb használata. Ezen markerek segítségével több veszélyeztetettnek tűnő klaszter felderítésre került. Az eredmények rámutattak arra, hogy az elkeseredettségről való beszámolás mellett a bizonytalan diagnózis, és így a vélhetően kezeletlen depresszió is súlyos rizikót hordozhat magában, ugyanakkor érdemes lehet még egyéb módon is vizsgálni a súlyos depressziós bejegyzések pontos detektálását a nyelvi markereken keresztül, mivel ennek fontos szerepe lehet öngyilkosságprevenciós munkában.

Katona Eszter, Kmetty Zoltán, Németh Renáta (2021): A korrupció hazai online médiareprezentációjának vizsgálata természetes nyelvfeldolgozással

2021.07.19. Publikáció A korrupció megjelenése az online médiában és a közösségi médiában, nemzetközi összehasonlító vizsgálat

Cikkünk a korrupció hazai online médiareprezentációjának tematikus elemzését mutatja be szövegbányászati megközelítést, azon belül is dinamikus topikmodellezést alkalmazva. Szövegkorpuszunkat a K-Monitor cikkgyűjteménye adta, amely korrupciógyanús, valamint szabálytalan közpénz-felhasználással kapcsolatos ügyeket feldolgozó, online sajtóban megjelenő cikkeket tartalmaz. Esettanulmányunk egyfelől exploratív jellegű: célunk a 2007–2018 közötti időszakra vonatkozóan azonosítani a cikkek főbb témáit és a tematikus változás dinamikáját, az egyes korrupciós témacsoportok előtérbe kerülését és háttérbe szorulását, illetve az egyes témák tartalmi változását. Kutatásunk másfelől magyarázatokra is kísérletet tesz, annak vizsgálatával, hogy van-e kapcsolat a tematika és a médium ellenzéki / kormánypárti pozíciója között, illetve hogy a kampányidőszak befolyásolja-e a korrupció reprezentációjának tematikáját. Annak köszönhetően, hogy az elemzett időszakban megváltozott az Origo hírportál tulajdonjoga, természetes kísérletként adódik annak vizsgálata, hogy a tulajdonosváltás milyen hatást gyakorolt a portálon megjelenő korrupciós diskurzus tematizáltságára.

https://mediakutato.hu/kiadvany/2021_02_nyar.html

Katona Eszter, Knap Árpád, Máté Fanni, Csótó Mihály – Az Információs Társadalomban megjelenő tanulmányok topikelemzése

2021.07.13. Publikáció

Kutatócsoportunk három tagja: Katona Eszter, Knap Árpád és Máté Fanni, Csótó Mihály közreműködésével az Információs Társadalom folyóirat születésnapi számába írt cikket. A tanulmány elsődleges célja, hogy NLP-s eszközökkel áttekintse a folyóirat elmúlt 15 évben milyen témákat emelt be az „information society studies” hazai diskurzusába, és feltárja a folyóirat tematikus szerkezetét. A tartalmi elemzés mellett a cikk betekintést nyújt a folyóiratba publikálók társ-szerzőségi hálózatába, valamint a szerzők és az egyes témák kapcsolatába is.

A cikk elérhető a következő linken: https://doi.org/10.22503/inftars.XXI.2021.1.1
A vizualizációk itt érhetők el: https://inftars.infonia.hu/inftars20?lang=hu

Máté Fanni (2021): Társas támogatás megjelenése egy depresszió és szorongás témájú online fórumon

2021.06.13. Publikáció A depresszió diszkurzív keretezése online fórumok közösségében

Az online segítő fórumok, közösségek jellemző csatornái a társas támogatásnak. Ezek a platformok a depresszióval, szorongással küzdők számára különösen jelentős segítséget nyújthatnak. Kutatásom célja kettős: egyfelől feltárni a társas támogatás mintázatait egy depresszió és szorongás témájú fórumon, másfelől pedig előzetes eredményekkel szolgálni a társas támogatás természetesnyelv-feldolgozással történő osztályozásához. Kutatásom egyedisége abban rejlik, hogy először a teljes használt adatbázis hagyományos kvalitatív elemzését végeztem el, s az így előálló adatbázist használtam az automatizált osztályozáshoz. A kvalitatív elemzés tapasztalatai a modellek definiálásához, azok működésének és teljesítményének megítéléséhez alapos ismeretekkel szolgálnak. Ezen ismeretek az automatikus szövegosztályozás szociológiai témában történő használhatóságának feltérképezésekor elemi információkat jelentenek. A vizsgált fórumon átlagosan ötből négy hozzászólás köthető a társas támogatáshoz. A segítő hozzászólásokban legjellemzőbb az információs (59,9 százalék) és az érzelmi támogatás (44,7 százalék). A társas támogatás tipizálását végző legjobb osztályozómodellek a hozzászólások közel 80 százalékát sorolták be a megfelelő kategóriába. Eredményeim alapján elmondható, hogy a vizsgált fórumon a társas támogatás típusainak automatizált felismerésére alkalmazott modellek pontossága bizakodásra ad okot.

https://szociologia.hu/szociologiai-szemle/tarsas-tamogatas-megjelenese-egy-depresszio-es-szorongas-temaju-online-forumon

Katona Eszter, Németh Renáta (2021): Automatizált szöveganalitika a korrupció kutatásában

2021.05.22. Publikáció A korrupció megjelenése az online médiában és a közösségi médiában, nemzetközi összehasonlító vizsgálat A politikai nyilvánosság rétegei Magyarországon (2001-2020)
Tanulmányunk a természetesnyelv-feldolgozás (Natural Language Processing – NLP) korrupciókutatásban való felhasználását és felhasználhatóságát vizsgálja. Átfogó irodalmi áttekintésünk során a 2000 után született, automatizált szövegelemzésre épülő korrupciókutatások teljeskörű összegyűjtésére és összegzésére törekedtünk az NLP alkalmazás elterjedtségére, illetve lehetőségeire fókuszálva. Lényeges eltéréseket találtunk a felhasznált szöveges adatforrást, a korrupció mérésének módját és az elemzési megközelítést tekintve, ugyanakkor sajnálatosan kevés volt az (adatforrását, módszerét vagy mérési módját tekintve) kevert típusú tanulmány. A klasszikus, a korrupció volumenét vagy a vele kapcsolatos attitűdöt vagy percepciót leíró, illetve észlelésének következményeit vizsgáló munkákon kívül találtunk a korrupció megelőzésére felhasználható eredményeket, sőt intervencióra közvetlenül alkalmasakat is. Az NLP-t csupán néhány tanulmány használta, és ezek egy része sem annyira tartalmi, mint csupán technikai feladatra. Eredményeink szerint az NLP nem nagyon elterjedt még ezen a területen, ugyanakkor az is látható, hogy gyümölcsöző lehet a használata: alternatív eszközként jól támogathatná a tradicionális kvantitatív kutatásokat. Cikkünk célja inspirációt adni az NLP társadalomtudományi felhasználására és felhívni a figyelmet annak beágyazhatóságára a meglevő tudományos diskurzusokba.

https://socio.hu/index.php/so/article/view/853

Németh, Sik, Katona (2021) – The asymmetries of the biopsychosocial model of depression in lay discourses – Topic modelling online depression forums

2021.04.26. Publikáció A depresszió diszkurzív keretezése online fórumok közösségében

Megjelent online depresszió-fórumok NLP-elemzésével foglalkozó projektünk új eredménye az SSM Population Health (D1) hasábjain, Németh Renáta, Sik Domonkos és Katona Eszter tollából, The asymmetries of the biopsychosocial model of depression in lay discourses – Topic modelling online depression forums címmel.

Sik, Domonkos (2020): From Lay Depression Narratives to Secular Ritual Healing: An Online Ethnography of Mental Health Forums

2020.12.29. Publikáció A depresszió diszkurzív keretezése online fórumok közösségében

The article aims at analysing online depression forums enabling lay reinterpretation and criticism of expert biomedical discourses. Firstly, two contrasting interpretations of depression are reconstructed: expert psy-discourses are confronted with the phenomenological descriptions of lay experiences, with a special emphasis on online forums as empirical platforms hosting such debates. After clarifying the general theoretical stakes concerning contested ‘depression narratives’, the results of an online ethnography are introduced: the main topics appearing in online discussions are summarised (analysing how the abstract tensions between lay and expert discourses appear in the actual discussions), along with the idealtypical discursive logics (analysing pragmatic advises, attempts of reframing self-narratives and expressions of unconditional recognition). Finally, based on these analyses an attempt is made to explore the latent functionality of online depression forums by referring to a secular ‘ritual healing’ existing as an unreflected, contingent potential.

Németh Renáta, Sik Domonkos, Máté Fanni. 2020. “Machine learning of concepts hard even for humans: the case of online depression forums”. International Journal of Qualitative Methods

2020.08.25. Publikáció A depresszió diszkurzív keretezése online fórumok közösségében

Social scientists of mixed-methods research have traditionally used human annotators to classify texts according to some predefined knowledge. The ‘big data’ revolution, the fast growth of digitized texts in recent years brings new opportunities but also new challenges. In our research project, we aim to examine the potential for natural language processing (NLP) techniques to understand the individual framing of depression in online forums. In this paper, we introduce a part of this project experimenting with NLP classification (supervised machine learning) method, which is capable of classifying large digital corpora according to various discourses on depression. Our question was whether an automated method can be applied to sociological problems outside the scope of hermeneutically more trivial business applications.

The present article introduces our learning path from the difficulties of human annotation to the hermeneutic limitations of algorithmic NLP methods. We faced our first failure when we experienced significant inter-annotator disagreement. In response to the failure, we moved to the strategy of intersubjective hermeneutics (interpretation through consensus). The second failure arose because we expected the machine to effectively learn from the human-annotated sample despite its hermeneutic limitations. The machine learning seemed to work appropriately in predicting bio-medical and psychological framing, but it failed in case of sociological framing. These results show that the sociological discourse about depression is not as well founded as the bio medical and the psychological discourses – a conclusion which requires further empirical study in the future. An increasing part of machine learning solution is based on human annotation of semantic interpretation tasks, and such human-machine interactions will probably define many more applications in the future. Our paper shows the hermeneutic limitations of ‘big data’ text analytics in the social sciences, and highlights the need for a better understanding of the use of annotated textual data and the annotation process itself.

A cikkhez kapcsolódó honlap itt érhető el.

Németh Renáta, Katona Eszter, Kmetty Zoltán (2020): Az automatizált szövegelemzés perspektívája a társadalomtudományokban

2020.04.30. Publikáció Adattudomány a társadalomkutatásban

Cikkünkben a „Big Data” paradigma térnyerésével párhuzamosan rohamosan terjedő természetesnyelv-feldolgozási (NLP) módszereket tekintjük át. Bemutatjuk a társadalomkutatási szempontból leginkább perspektivikus eszközöket, a hozzájuk illeszthető társadalomkutatási kérdéseket és azokat a technikai-módszertani jellegzetességeket, amelyek a klasszikus kvantitatív kutatáshoz képest az NLP specifikumát jellemzik. Ezek a módszerek lényegesen túllépnek a szógyakoriság-elemzésen alapuló klasszikus kvantitatív szövegelemzésen, és a gépi tanulási paradigmán alapuló modellezési logikájuk gyökeresen eltér a magyarázatot / oksági hatás kimutatását elérni kívánó klasszikus társadalomkutatási logikától. Célunk, hogy ebbe az itthon még kevéssé intézményesült területbe betekintést engedve inspirációt nyújtsunk a hazai társadalomkutatók számára, mert meggyőződésünk szerint a szövegbányászat néhány éven belül standard eszköze lesz a nemzetközi alkalmazott társadalomkutatásnak.

Barna, Ildikó, és Árpád Knap. 2020. „A Case Study of Using LDA Topic Modeling in Sociological Research – Antisemitism in Contemporary Hungary”. Előadás, Institute of Formal and Applied Linguistics, Károly Egyetem, Prága, Csehország.

2020.01.20. Előadás Online antiszemitizmus

Barna Ildikó, kutatócsoportunk társvezetője előadást tartott a jelenkori magyarországi antiszemitizmusról a prágai Károly Egyetem Alkalmazott Nyelvészeti Intézetében. Az előadás alapját a Knap Árpáddal közösen végzett Online Antiszemitizmus kutatás jelentette. Előadásában a kutatás eddigi eredményeinek ismertetésén túl kitért arra is, hogy a természetesnyelv-feldolgozás outputjának interpretálásához miért nélkülözhetetlen a szociológiai és a szakterületi tudás.

Az előadásról további információ található az egyetem honlapján. A prezentációról készült videófelvétel ezen a linken tekinthető meg.

A kapcsolódó hír honlapunkon itt érhető el.

Németh, Renáta; Koltai, Júlia (2019): Szociológiai tudás felfedezése autamatizált szöveganalitika segítségével. In: Rudas, Tamás – Péli, Gábor (szerk.) Pathways Between Social Science and Computational Social Science – Therories, Methods and Interpretations. New York, NY, Springer. 

2019.12.01. Publikáció Adattudomány a társadalomkutatásban

Tanulmányunkban a Big Data szöveganalitika szociológiai alkalmazásának lehetőségeit és kihívásait tárgyaljuk. A lehetőségek közé azokat az információtechnológiai, adattudományi, mesterséges intelligencia-kutatási és természetes nyelvfeldolgozási (natural language processing, NLP) eredményeket soroljuk, melyek eredetileg üzleti és technológiai területeken jöttek létre, és amelyek közül több jól adaptálható a társadalomkutatásban. Segítségükkel közvetlenül megfigyelhető a társas viselkedés, real-time végezhető az elemzés, és – az NLP fejlődésével párhuzamosan – a szöveges tartalmak megértése is mélyebbé válhat. Munkánkban ezeket a módszereket hozzuk közelebb a klasszikus kvantitatív módszereket ismerő szociológus olvasóhoz. Olyan új szociológiai témákra mutatunk rá, melyeket e megközelítés generálhat, s fordítva: megmutatjuk, hogyan kaphatnak új szempontokat klasszikus szociológiai kérdések. Célunk a szociológusok e területre történő belépésének motiválása, ezért az új módszereket a klasszikus szociológiai eszközök és fogalmak felől ismertetjük, és választ adunk arra a kérdésre is, milyen felkészülést előfeltételez ez a belépés a hagyományosan képzett szociológus részéről.

Katona E, Németh R, Kmetty Z (2019): Szöveganalitika a társadalomtudományokban – Az NLP alkalmazása egy gyakorlati példán. (Közlésre benyújtva.)

2019.09.01. Publikáció A korrupció megjelenése az online médiában és a közösségi médiában, nemzetközi összehasonlító vizsgálat

Cikkünkben a nemzetközi társadalomtudományi alkalmazásokban, a „Big Data” paradigma térnyerésével párhuzamosan rohamosan terjedő számítógépes szövegelemzési (NLP) módszereket és szociológiai felhasználhatóságukat tekintjük át. Bemutatjuk a legnépszerűbb és a szociológia számára véleményünk szerint legperspektivikusabb módszereket, és azokat a technikai-előfeldolgozási lépéseket is, melyek a klasszikus kvantitatív kutatáshoz képest az NLP specifikumát és komplexitását jellemzik. Egy konkrét esettanulmányként a korrupció online sajtóbeli témáinak időbeli változását vizsgáljuk, dinamikus topikmodell segítségével, a K-Monitor cikkgyűjteményét használva. 26.000 cikk alapján elemezzük a 2007 és 2018 közötti időszakot tekintve a tipikus korrupciós témák népszerűségének és tartalmának változását. A modell eredményeként hét, egymástól jól elkülöníthető topik jött létre, melyek külső információkkal is jó egyezést mutatnak.  

Célunk az új megközelítés logikájának, a módszerekhez illeszthető kutatási kérdéseknek a megismertetése. Nem céloztuk sem a pontos matematikai-statisztikai háttér megismertetését, sem az egyes módszerek alkalmazásának támogatását, ugyanakkor utóbbihoz ajánlunk néhány jó kiindulópontot. Reményeink szerint írásunk inspirációul szolgál az NLP hazai szociológiai elterjedéséhez, e folyamat támogatását azért is fontosnak tartjuk, mert meggyőződésünk szerint az NLP néhány éven belül standard eszköze lesz a nemzetközi alkalmazott társadalomkutatásnak.

További részletek, vizualizációk: https://eszterkatona.github.io/dtm_viz/

Barna, Ildikó, és Árpád Knap. 2019. „New Ways of Scrutinising Overt and Subtle Antisemitism in Hungary”. In 14th ESA Conference – Abstract book: Europe and Beyond: Boundaries, Barriers and Belonging, 880. Manchester, Egyesült Királyság: European Sociological Association

2019.08.21. Előadás Online antiszemitizmus

The level of antisemitism in Hungary has always been among the highest in Europe. Representative surveys show that approximately 33 to 40 per cent of the Hungarian population is antisemitic. Although there has been some fluctuation, the level of antisemitism has remained quite stable. Moreover, we found, based on representative surveys among Hungarian Jews, that although the proportion of those having experienced or witnessed antisemitic acts one year prior to the survey decreased massively from 79 to 58 per cent between 1999 and 2017, the perception of antisemitism severely deteriorated. While in 1999, 37 per cent of Jews thought that antisemitism was strong or very strong in Hungary, in 2017 65 per cent said the same. This high discrepancy between experience and perception is due to several factors, being one of them the spread of online hatred. This fact makes the analysis of online sources necessary. Due to the vast amount of unstructured online textual data, their examination demands new tools, one of them being Natural Language Processing (NLP). NLP is an interdisciplinary field of research in the intersection of computer science, artificial intelligence, as well as linguistics. In our research, we apply NLP on a massive corpus of recent Hungarian news articles, social media content, and online forum comments. NLP makes possible not only the examination of the structure, the main topics, and actors of overt antisemitism but the identification of underlying subjects and specificities of latent antisemitism. In our paper, we present the first results of our research.

A kapcsolódó hír honlapunkon itt érhető el.

Bio, psycho or social – Discursive framing of depression in online health communities – IC2S2, 5th International Conference on Computational Social Science, 2019

2019.07.17. Előadás A depresszió diszkurzív keretezése online fórumok közösségében

Kutatásunk első szakaszában célunk volt összegyűjteni és automatikusan osztályozni online fórumok hozzászólásait a fenti három keretezési kategóriába felügyelt tanuló algoritmusok alkalmazásával. Adatbázisunk a legnépszerűbb angol nyelvű, depresszió tematikájú online  fórumok hozzászólásait tartalmazza 2016 és 2018 között. Csak olyan posztokat használtunk, amelyek nyilvánosan elérhetőek, olvasásukhoz nincs szükség regisztrációra sem, szerzőjük online megosztásra szánta őket. Az adatok előfeldogozásához és elemzéséhez Pythont és különböző módszereket (SVM, naiv Bayes, logisztikus regresszió, döntési fák) használtunk. Poszterünk innét letölthető.

Korábbi kapcsolódó publikációk

2019.07.01. Publikáció A depresszió diszkurzív keretezése online fórumok közösségében

Sik Domonkos: From mental disorders to social suffering: Making sense of depression for critical theories. EUROPEAN JOURNAL OF SOCIAL THEORY (2018)

Sik, Domonkos: Válaszok a szenvedésre: A hálózati szolidaritás elmélete. Budapest, Magyarország : ELTE Eötvös Kiadó (2018) , 228 p.

Sik, Domonkos: A szenvedés határállapotai: Egy kritikai hálózatelmélet vázlata. Budapest, Magyarország : ELTE Eötvös Kiadó (2018) , 246 p.

Deckovic-Dukres, V., Hrkal, J., Németh, R., Vitrai, J., Zach, H.: Inequalities in health system responsiveness. Joint World Health Survey Report Based on Data from Selected Central European Countries, 2007. Jelentés a WHO megbízásából.

Remák, E., Gál, R.I., Németh, R.: Health and morbidity in the accession countries. Country report – Hungary. ENEPRI Research Reports 28, Brussels: ENEPRI, 2006.

Albert Fruzsina, Dávid Beáta, Németh Renáta: Társas támogatottság, társadalmi kohézió. In.: Országos Lakossági Egészségfelmérés OLEF2003, Kutatási Jelentés, 2005.

Eddigi eredmények

2019.07.01. Előadás A korrupció megjelenése az online médiában és a közösségi médiában, nemzetközi összehasonlító vizsgálat

Katona Eszter előadása

Katona Eszter ‘Natural Language Processing in Social Sciences’ címmel tartott előadást 2019. május 10-én Bázelben, a Joint Annual Conference of the GPSA Methods of Political Science Section and the SPSA Empirical Methodology Working Group (https://www.methodology-dvpw-svpw.com/) konferencián. Előadásában a Németh Renátával és Kmetty Zoltánnal közösen írt, megjelenés alatt álló cikk eredményeit ismertette.

Katona Eszter (2019): Szakdolgozat, 2018, ELTE, Survey Statisztika MSc. Részletek, vizualizációk: https://eszterkatona.github.io/atm-kmonitor/

Kapcsolódó korábbi tudományszociológiai/episztemológiai publikációk

2019.06.26. Publikáció Adattudomány a társadalomkutatásban

Barna, Ildikó, és Árpád Knap. 2019. „Antisemitism in Contemporary Hungary: Exploring Topics of Antisemitism in the Far-Right Media Using Natural Language Processing”. Theo-Web 18 (1): 75–92.

2019.06.15. Publikáció Online antiszemitizmus

In this paper, we explore antisemitism in contemporary Hungary. After briefly introducing the different types of antisemitism, we show the results of a quantitative survey carried out in 2017 on a nationally representative sample. Next, we present the research we conducted on the articles related to Jews from the far-right site Kuruc.info. Our corpus contained 2,289 articles from the period between February 28, 2016, and March 20, 2019. To identify latent topics in the text, we employed one of the methods of Natural Language Processing (NLP), namely topic modeling using the LDA method. We extracted fifteen topics. We found that racial antisemitism, unmeasurable by survey research, is overtly present in the discourse of Kuruc.info. Moreover, we identified topics that were connected to other types of antisemitism.

Keywords: antisemitism, Hungary, Natural Language Processing, topic modeling, LDA

Barna Ildikó előadása az “Antisemitism, Anti-Zionism, Israel, and the Holocaust” című workshopon Salzburgban

2019.02.24. Előadás Online antiszemitizmus

Barna Ildikó 2019. február 23-án előadást tartott az “Antisemitism, Anti-Zionism, Israel, and the Holocaust” című workshopon Salzburgban. Az előadás címe: “Overt and Subtle Antisemitism in Hungary” volt. Az előadásban beszélt az antiszemitizmus mérésének módszereiről és kihívásairól. A magyarországi antiszemitizmusról szóló nagymintás adatfelvételek eredményeinek bemutatásán túl beszélt a kutatás új lehetőségeiről; ezen belül is kiemelten foglalkozott a Natural Language Processing (NLP) nyújtotta lehetőségekről, valamint az online gyűlöletbeszéd munkacsoport kutatásáról.