Udeležba članov CDI na 74. AAPOR konferenci

Asist. Miha Matjašič, dr. Gregor Čehovin in dr. Jernej Berzelak iz Centra za družboslovno informatiko (CDI) so se udeležili 74. konference AAPOR (American Association for Public Opinion Research), ki je med 16. in 19. majem 2019 potekala v Torontu, Kanadi. Gre za enega od osrednjih svetovnih simpozijev na področju anketne metodologije in raziskovanja javnega mnenja. Na konferenci so prevladovali prispevki in diskusije na temo spletnega anketiranja in izzivov, povezanih s kakovostjo podatkov, t.j. izboljšati izvajanje in diseminacijo rezultatov anketnih raziskav.

Asist. Miha Matjašič je predstavil članek »Web surveys: using response time to identify low response quality speeders?«, ki je bil pripravljen v sodelovanju z dr. Vasjo Vehovarjem. Namen prispevka je raziskati identifikacijo prehitrih enot (ang. speeders) in kakovost njihovih odgovorov v spletnih anketah, saj obstaja veliko razlogov za  odstranitev prehitrih enot iz spletnih anket, še posebej, če so njihovi odgovori nizke kakovosti. Vendar je identifikacija prehitrih enot, ki podajajo odgovore slabše kakovosti, zelo zahtevna. V ta namen so raziskovalci razvili različne pristope, ki se med seboj razlikujejo v različnih vidikih konceptualnega pristopa, kjer nekateri avtorji uporabljajo statistične pristope drugi pa kognitivne pristope. Razlike so tudi v določanju specifičnih parametrov posameznega pritopa (časovne meje, kjer identificiramo prehitre enote). Ob tem se seveda pojavlja tudi vprašanje, ali so identificirane prehitre enote povezane s slabšo kakovostjo odgovorov. Navedeno vprašanje je v literaturi nemalokrat prezrto, kar pomeni, da se implicitno privzame, da taka povezanost nesporno obstaja, kar pa seveda ni nujno res. Z namenom razjasnitve opisane problematike je predstavljeni članek v empirični študiji (n = 1440) preučeval, ali so prehitre enote povezane z nižjo kakovostjo odgovorov. V ta namen smo opredelili osem indikatorjev kakovosti odgovorov (ang. response quality indicators) in preučevali kakovost odgovorov različnega deleža (percentilov) prehitrih enot. Rezultati so pokazali, da je bila odstranitev 0,5 % najhitrejših enot optimalni delež, pri čemer smo resnično odstranili enote z najnižjo (in pogosto tudi nesprejemljivo) kakovostjo odgovorov. Po drugi strani je to tudi delež, kjer nismo odstranili hitrih enot s sprejemljivo kakovostjo odgovorov, kar je tipična napaka v literaturi. Seveda je lahko ta delež (0,5%) specifičen za posamezno spletno anketo. Na podlagi sinteze rezultatov smo ugotovili, da za identifikacijo oz. določitev optimalnega deleža prehitrih enot - katerih odstranitev bi povečala splošno kakovost odgovorov – ni dovolj le identifikacija prehitrih enot na podlagi odzivnega časa, kot se to napačno in pogosto uporablja v literaturi, temveč je potrebno analizo odzivnih časov združiti z indikatorji kakovosti odgovorov (npr. neodgovor spremenljivke, nerazlikovanje med odgovori itd.).