Skoči do osrednje vsebine

CRP V5-2157 Verjetnostni spletni paneli v državni statistiki za osebe in gospodinjstva

Šifra:

V5-2157

Obdobje:

1.9.2021 - 31.8.2023

Letni obseg:

0,21 FTE | 2021

Vodja:

prof.dr. Vasja Vehovar

Veda:

Družboslovje

Faze projekta in njihova realizacija:

DS1: VODENJE PROJEKTA; N1.1: Upravljanje in poročanje o projektu; N1.2: Obvladovanje tveganj in zagotavljanje kakovosti; DS2: KONCEPTUALNI RAZVOJ; N2.1: Sistematični pregled literature; N2.2: Izdelava operativnih izhodišč empirične raziskave; DS3: VERJETNOSTNI PANELI V SVETU; N3.1: Izkušnje v uradni statistiki; N3.2: Drugi verjetnostni paneli; DS4: VERJETNOSTNI PANELI V SLOVENIJI; N4.1: Izkušnje s klasičnimi paneli; N4.2: Analiza spletnih panelov v Sloveniji; N4.3: Izhodišča za vzpostavitev verjetnostnega panela; DS5: INVENTARIZACIJA RAZISKAV V SLOVENIJI; N5.1: Preliminarne poizvedbe; N5.2: Izdelava seznama potencialnih anketnih raziskav; N5.3: Sumarno poročilo o opravljenih analizah; DS6: IMPLEMENTACIJA PILOTNEGA VERJETNOSTNEGA PANELA; N6.1: Priprave in raziskovalni načrt; N6.2: Implementacija; N6.3: Analiza, integracija in poročanje; DS7: DISEMINACIJA; N7.1: Izdelava načrta diseminacije; N7.2: Izvajanje načrta diseminacije.

Sodelujoče RO:

http://www.sicris.si/public/jqm/prj.aspx?lang=slv&opt=2&subopt=403&hits=1&id=18583&search_term=V5-2157

Sestava projektne skupine:

http://www.sicris.si/public/jqm/prj.aspx?lang=slv&opt=2&subopt=402&hits=1&id=18583&search_term=V5-2157

Bibliografske reference:

http://www.sicris.si/public/jqm/prj.aspx?lang=slv&opt=2&subopt=400&hits=1&id=18583&search_term=V5-2157

Vsebinski opis projekta:

Anketne raziskave se zaradi razvoja informacijsko-komunikacijskih tehnologij ter težav tradicionalnih načinov anketiranja (naraščajoči stroški in padajoče stopnje sodelovanja) vse bolj usmerjajo v spletno anketiranje oziroma v kombinirane načine anketiranja. Poseben izziv predstavljajo spletni paneli, kjer člani panela za določeno nagrado vnaprej soglašajo z rednim (npr. mesečnim) sodelovanjem v različnih spletnih anketah. V poslovnih in mnenjskih anketah splošne populacije so spletni paneli že postali prevladujoči način anketiranja, predvsem kot neverjetnostni spletni paneli, kjer verjetnost enot za vključitev v panel ni vnaprej znana. Standardi v uradni statistiki pa zahtevajo verjetnostne ankete, kjer so verjetnosti za vključitev enot v panel pozitivne in znane vnaprej za celotno populacijo. Verjetnostni spletni paneli se v akademskih raziskavah in nekaterih raziskavah za javne naročnike v zadnjih letih hitro širijo, v uradni statistiki pa se še niso uveljavili. Izzivi, ki jih je prinesel COVID-19, predvsem težave z izvajanjem osebnega terenskega anketiranja, pa so pohitrili proces presojanja primernosti uporabe verjetnostnih spletnih panelov tudi v uradni statistiki. Verjetnostni spletni paneli na eni strani namreč nižajo stroške in ohranjajo načela verjetnostnega vzorčenja, na drugi strani pa izpuščajo neuporabnike interneta in dosegajo nižje stopnje odgovorov kot osebno terensko anketiranje (ki pa v COVID-19 razmerah ni izvedljivo). Literatura v splošnem kaže, da so verjetnostni spletni paneli z vidika kakovosti anketnih ocen primerljivi s tradicionalnimi verjetnostnimi anketami, opazno uspešnejši pa so od neverjetnostnih spletnih panelov. V zgoraj orisanem okviru se z izzivi verjetnostnega panela sooča tudi Statistični urad Republike Slovenije, ki verjetnostnih spletnih panelov, podobno kot večina statističnih uradov, v anketah splošne populacije še ne uporablja. Projekt bo zato preveril potenciale verjetnostnega spletnega panela splošne populacije (osebe in gospodinjstva) za potrebe uradne statistike. Cilji so naslednji:1.izdelati izčrpen in ažuren pregled globalnega stanja problematike v literaturi in tudi v pogledu odgovarjajočih aktivnosti v vodilnih statističnih uradih; 2.pregledati vsebine oziroma anketna vprašanja, ki so v uradni statistiki primerna za vključitev v tovrsten panel, ter preveriti potencialno sinergijo z ostalimi deležniki javnega sektorja, ki tudi imajo primerne anketne vsebine in podobne interese;3.izvesti pilotni verjetnostni spletni panel, ki bo pomagal osvetliti anketne stroške in kakovost statističnih ocen, ter ob tem razviti integrirane primerjalne kriterije vrednotenja kakovosti in stroškov;4.izdelati celovito študijo izvedljivosti za vzpostavitev verjetnostnega spletnega panela v uradni statistiki v Sloveniji, ki bo osvetlila vse s tem povezane stroškovne, metodološke, pravne in organizacijske vidike. Rezultati bodo deležnikom prinesli nova znanja ter aktualno osvetlitev dilem na obravnavanem področju, kar bo osnova tudi za kompetentne odločitve. Predlagana raziskovalna skupina je na področju spletnih anket globalno uveljavljena. Izvajala je pionirske raziskave, objavljala pri najuglednejših založnikih, prispevala visoko citirane članke in osrednjo monografijo na tem področju. Skupina ima odlične mednarodne povezave z vodilnimi raziskovalci, razvila je tudi odprtokodno orodje za spletne ankete (1KA) ter na področju spletnih anket vzpostavila letna strokovna srečanja oziroma izobraževanja. Vse to zagotavlja, da bodo ambiciozni cilji predlaganega projekta v celoti doseženi.

Ugotovitve:

Da bi raziskali potenciale omenjenih panelov, smo uvodoma pregledali literaturo in obstoječo prakso. Ugotovili smo, da zaradi težav s tradicionalnimi verjetnostnimi anketami (neodgovori, stroški, covid-19) uporaba tovrstnih panelov v svetu hitro narašča. V tem okviru smo izvedli tudi posebno raziskavo med statističnimi uradi v EU. Izkazalo se je, da četrtina uradov o uporabi teh panelov že vsaj razmišlja, nekateri pa jih tudi že uporabljajo ali načrtujejo.

V nadaljevanju smo identificirali skupno 20 uradnih anket oseb in gospodinjstev, ki se izvajajo v Sloveniji, ter 13 najbolj primernih (deloma ali v celoti) vključili v pilotni spletni verjetnostni panel CDI odrasle rezidenčne populacije v Sloveniji. Panel je imel fazo rekrutiranja ter štiri panelne valove, trajal pa je od decembra 2022 do junija 2023. V panel smo s poštnim rekrutiranjem in večinoma s pogojno nagrado 10 evrov (trgovinski boni) rekrutirali 1.628 panelistov, kar predstavlja okoli petino odgovarjajočega bruto vzorca. Paneliste smo v posamezne valove vabili po pošti z brezpogojno nagrado 5 evrov (trgovinski boni). Osip je bil razmeroma majhen, saj je v zadnjem valu še vedno odgovorilo 1.439 enot (88 % panelistov) oziroma 17 % začetnega bruto vzorca. Za uteževanje anketnih podatkov smo razvili odprtokodno aplikacijo, ki je poleg tega izračunala tudi pristranskosti ocen v panelu CDI glede na siceršnje ocene iz osnovnih uradnih anket.

Izračuni pristranskosti za 539 ocen (spremenljivk) v obravnavanih sklopih so pokazali, da je bilo pri večini sklopov več kot 10 % ocen v CDI panelu takih, da so bile statistično značilno različne in hkrati imele relativno pristranskost večjo kot 10 %. Pri enem sklopu ni bilo takih ocen, pri enem je bilo takih ocen 8 %, pri treh 14 %, pri dveh četrtina, pri treh med četrtino in polovico, pri treh pa je bila takih več kot polovica vseh ocen. Delež ocen z visoko pristranskostjo je bil odvisen predvsem od metodologije osnove ankete in njene vsebine.

V nadaljnjih korakih smo kriterij pristranskosti razširili še z natančnostjo, ki je odvisna predvsem od velikost vzorca (oziroma vzorčne variance). Združeni komponenti pristranskosti in natančnosti predstavljata točnost ocen, kar smo integrirali s stroški in na tej osnovi razvili indikator »strošek na enoto točnosti«. Pri anketiranju želimo namreč z danimi sredstvi pridobiti čim več informacij (točnosti) in ne zgolj optimizirati ene komponente (npr. natančnosti, pristranskosti, stroškov, neodgovorov). Že pri konceptualnem razvoju indikatorja pa se je izkazalo, da imajo stroški in natančnost ocen pri velikih vzorcih (npr. 1.000 in več) – glede na prevladujoči učinek relativne pristranskosti – razmeroma omejeno vlogo. Pristop stroškov na enoto točnosti smo sicer najprej uporabili za določanje optimalne strategije rekrutiranja. Izkazalo se je, da je lahko 5 evrov brezpogojne nagrade učinkovitejše kot 10 evrov pogojne nagrade (po izpolnjeni anketi).

Primerjava variabilnih stroškov (na minuto anketiranja respondenta) v določenem valu CDI panela s stroški, ki bi nastali v primerljivi enkratni izvedbi – kjer se izvede le odgovarjajoča rekrutacijska anketa – nakazuje, da so stroški na minuto v panelu (0,3 evra) okoli dvakrat manjši kot v primeru samostojne ankete (0,6 evra). Variabilnih stroškov izvedbe osnovnih (uradnih) anket sicer ne poznamo, na osnovi razpoložljivih informacij pa ocenjujemo, da so od stroškov v panelnem valu večji kvečjemu za faktor 2 - 4. To pa v splošnem ne zadošča, da bi povečani panelni vzorec (zaradi cenejše izvedbe) lahko nadomestil izrazitejšo relativno pristranskost, npr. 10 %. Z ožjega vidika stroškov in napak imajo verjetnostni spletni paneli zato razmeroma omejen domet. To se lahko spremeni v primeru prehoda na e-mail vabila in digitalno nagrajevanje (namesto pošiljanja bonov po pošti), posebej pa v primeru visokih fiksnih stroškov osnovnih anket. Tovrstni paneli lahko postanejo dodatno privlačni tudi zaradi drugih naraščajočih težav osnovnih anket, ki uporabljajo lastno rekrutiranje in kombinirane načine anketiranja (pokritje, neodgovori, trajanje in pristranskost ocen).

Dodatna težava tovrstnega panela v uradni statistiki je lahko tudi velikost osnovnih vzorcev. Verjetnostni spletni paneli namreč običajno vključujejo le nekaj tisoč oseb, kar je precej drugače kot neverjetnostni spletni paneli. Ankete, ki zahtevajo več kot npr. tri tisoč respondentov, zato niso primerne. Podobno velja za ankete gospodinjstev (težave sodelovanja oseb znotraj gospodinjstva), za kontinuirane ankete (imajo lastno panelno strukturo), za ankete neuporabnikov interneta, kot tudi za ankete, ki zahtevajo kompleksna navodila, zbiranje računov, zbiranje bioloških podatkov (npr. kri, urin) ipd.

Zaradi razmeroma velikega števila pristranskih ocen v pilotnem CDI panelu, ki v osnovi nastajajo predvsem zaradi neodgovorov in nepokritja, je smiselno razmišljati, da se poleg spletnega načina vendarle uporabijo tudi še kombinirani načini, predvsem osebno terensko rekrutiranje ter dopolnilno telefonsko anketiranje. Določeno alternativo lahko predstavlja tudi gradnja panela okoli neke obstoječe presečne (npr. MP) ali kontinuirane raziskave (npr. SILC), ki že ima – zaradi rednosti oziroma pogostosti zbiranja podatkov – določene elemente tovrstnega panela. Zaradi specifičnosti slovenskega okolja, v katerem je povpraševanje po verjetnostnih vzorcih razmeroma skromno, pa bi bilo za vzpostavitev nacionalnega verjetnostnega spletnega panela smiselno tudi združiti napore vseh potencialnih deležnikov.

Ključne besede:

anketna metodologija, državna statistika, spletni paneli, verjetnostni paneli


Nazaj na seznam projektov