Ühiskonnauuringute instituudi erakondade toetusküsitlused - kuidas saavutada parim tulemus?

20.06.2024

Täpse küsitlusuuringu tegemine reaalses maailmas, kus inimesi on raske kätte saada ning erinevaid suhtlusvahendeid kasutatakse erinevate inimeste poolt erineval määra, on äärmiselt keeruline ülesanne. Ning isegi kui küsitluse puhul on kõik oluline arvesse võetud ja kõik vajalikud parandused tehtud, on enamasti põhimõtteliselt võimatu kontrollida, kas ja kui täpne üks või teine küsitlus lõppkokkuvõttes ikkagi oli. Valimised on siinkohal aga üks vähestest märkimisväärsetest eranditest - see on hetk, kus kogu valijaskond saab otsustada, kas minna valima või mitte ja kus me lõpuks saame teada, millised olid nende poliitilised eelistused. See on üks moment, kus meil on reaalselt võimalik kontrollida, kui hästi või halvasti üks küsitlus oli läbi viidud, sest me teame kindlalt, mis oli uuritava ühiskonnagrupi tegelik seisukoht.

Ühiskonnauuringute instituudi ja Norstati koostöös tehtud erakondade populaarsusküsitlused on siinkohal järjepidevalt näidanud väga häid tulemusi ning kõige täpsema ennustuse valimistulemuse osas tegid nad ka nendel Euroopa Parlamendi valimistel. Ülevaate instituudi küsitlustest võid saada meie koduleheküljel www.inst.ee  ning spetsiaalselt erakondade Riigikogu reitingutele pühendatud veebilehel www.reitingud.ee. Samuti on praeguseks valmis kõigile huvilistele avatud küsitluste tellimise ja analüüsi keskkond küsitlus.com, läbi mille on koostöös Norstatiga võimalik kõigil tellida Eesti kõige kiiremat avaliku arvamuse küsitlusteenust (tellimusest tulemusteni alates 24h jooksul).  

Järgnevalt on siin esmalt antud ülevaade enne valimisi tehtud uuringutest ja nende tulemustest ning seejärel on pikemalt ja detailsemalt kirjeldatud Ühiskonnauuringute instituudi küsitlusmetoodikat. Proovime avada natuke seda laegast, mis võimaldab teha antud hetkel kõige täpsemaid erakondade toetusküsitlusi ning seda konkreetselt Euroopa Parlamendi valimiste puhul. Riigikogu valimiste kontekstis erakondade populaarsuse mõõtmisel on natuke teistsugune problemaatika.

Järgnevas tabelis on välja toodud Ühiskonnauuringute instituudi (ÜI), Turu-uuringute (TU), Emori ja Salga poolt tehtud ennustused valimistulemuse osas (erakondade toetusnumbrid vahetult enne valimisi). Tabeli all on näidatud maksimaalne viga (MAX), mida mõne erakonna toetusnumbri puhul tehti, keskmine viga (AVG) kõigi erakondade lõikes ning keskmine ruutviga (MSE).

REITINGUD
Erakond	Tulemus	TU 06.05	TU 05.31	Emor 06.02	SALK 05.29	ÜI 06.06	ÜI 05.31
SDE	19.3	23.2	19.1	18.6	19.6	21.6	22.1
ISA	21.5	14.6	15.3	16.4	18.1	20.9	20.1
REF	17.9	9.8	10.8	18.9	20.7	16.8	17.8
EKRE	14.9	15.9	13.2	15.2	18.6	16.7	15.5
KESK	12.4	20.7	10.6	11.8	8.7	9.1	9.3
PAR	6.8	3.7	2.5	5.8	5.2	6.9	4.8
E200	2.6	2.4	3.3	3.6	5.3	3.3	4.7
KOOS	3.1	7.3	3.3	3.1	1	1.6	2.3
ROH	0.6	1.2	1	0.7	1.2	0.6	1.1
VIGA
MAX		8.30	7.10	5.10	3.70	3.30	3.10
AVG		4.03	2.51	1.09	2.32	1.27	1.49
MSE		25.11	12.69	3.33	6.83	2.64	3.23

Võrreldes teiste küsitlustulemuste ja ennustustega olid Ühiskonnauuringute instituudi ja Norstati küsitlustulemused kõige täpsemad. Keskmine ennustusviga erakonna kohta oli viimasel lainel alla 1.3% ning kõige suurem möödapanek mõne üksiku erakonna puhul oli natuke enam kui 3% (Keskerakonna toetus oli alahinnatud). Keskmine viga EMORi küsitluse puhul oli küll madalam, kuid nende kõige suurem möödapanek mõne üksiku toetusnumbri puhul oli lausa 5.1% (Isamaa ennustatud toetus 16.4%, tegelik valimistulemus 21.5%). Turu-uuringute küsitluse keskmine viga erakonna kohta oli aga lausa 4% ning kõige suurem möödapanek mõne erakonna puhul lausa 8.3% (Keskerakonna ennustatud toetus 20.7%, tegelik valimistulemus 12.4%). Turu-uuringutest ja EMORist parema ennustuse tegi SALK, kelle tulemused olid aga siiski mõnevõrra ebatäpsemad kui Ühiskonnauuringute instituudil. SALK ennustas selgelt üle EKRE toetust (mida nad ka ise eeldasid) ning samuti pakkusid nad valimiste võitu Reformierakonnale.

Parima ennustuse metoodika

Seekordse Euroopa Parlamendi valimiste reitinguga oli eksperimentaalse metoodika tõttu suurem oht vigu teha. Ennustuste tegemisel oli kaks kriitilist momenti, mis olid vajalikud parima tulemuse saavutamiseks, kuid millega samas kaasnes risk eksimiseks. Esiteks, kuna kasutati veebivalimit, mis on positiivselt kallutatud EKRE ning väiksel määral ka Parempoolsete, Keskerakonna ja Sotsiaaldemokraatide suunas, korrigeeriti andmeid samaaegse kahe nädala reitinguga. Teiseks, eksperimentaalse meetodina rakendati 4 küsimusel põhinevat Perry-Gallupi stiilis valimisaktiivsuse indeksit, mis aitab korrigeerida küsitlusele vastajate liigset optimismi nende valima minemise tõenäosuse osas.

Reitingu korrektsioon

Reitingu korrektsioon, mis seisneb parema valimiga uuringust pärit reitingute toetusjaotuse kasutamisel mõne teise küsitluse tulemuste kaalumisel, ei ole ÜI-s uus meetod. Kuna korrektsioonivajadus tuleb veebiuuringu omapäradest, oleme põhjalikult uurinud telefoni- ja veebiuuringute erinevuseid ning viise, kuidas erinevusi vähendada. Selleks oleme vaadelnud nii sotsiaalse soovitavuse efekti (inimesed ei avalda küsitluses oma tegelikke eelistusi, vaid annavad selliseid vastuseid, mis on sotsiaalselt eelistatud), kui ka uurinud kätte saadud sihtgruppide süsteemseid demograafilisi erinevusi. Päevapoliitilistes küsimustes on kummagi meetodi vastused küllaltki sarnased, erakondlikud eelistused erinevad keskmiselt, kuid kõik ühiskondlikku või poliitilist aktiivsust ennustavad küsimused erinevad drastiliselt.

Seetõttu võib veebipaneelis näiteks Euroopa Parlamendi kohta teada saada, et ligi 80%-90% plaanib minna valima. Sama efekti leiab, kui küsida kultuuriürituste osaluse kohta ning võrrelda neid Statistikaameti avaldatavate andmetega. See ei ole aga ei ühe ega teise uuringufirma probleem, vaid veebiuuringute omapära, millest ei pääse ka Eurostati avaldatavad EP andmestikud.

Eelmiste EP valimiste järel tehtud

uuringus väitis näiteks ligi 80% Eesti vastajatest, et nad käisid valimas.

Veebiuuringu probleemide lahendamisel andis kõikidest proovitud meetoditest kõige stabiilsemaid ja paremaid tulemusi reitingu korrektsioon. ÜI tellitud iganädalane Riigikogu valimiste reiting on mitmendat valimisperioodi järjest olnud kõige täpsem, mistõttu on see kujunenud kõige paremaks allikaks korrektsiooni läbiviimiseks. Iganädalase Riigikogu reitingu puhul tasub silmas pidada, et reeglina avaldatakse selle 4 nädala keskmine. Kui aga inimeste eelistused muutuvad lühikese aja jooksul või valimisnädalal, jõuab nädala muutus 4 nädala reitingusse viivitusega. Selle reha otsa astuti 2023. aasta Riigikogu valimistel, kus valimisnädalal toimusid suured muutused reitingus. Neid muutuseid näitas ühe nädala reiting alla 1% veaga korrektselt. Reitingu avaldamisel läks sellele aga vähe rõhku, sest ilma tagantjärele tarkuseta võis oletada, et tegemist võib olla ka valimi veaga. Nüüd jälgime võimalikke lühiajalisi muutuseid täpsemalt, et neile õigesti reageerida.

Reitingu korrektsiooni testisime 2023. aasta Riigikogu valimiste järel. Eesmärk oli võimalikult täpselt ennustada ringkonna tasandil kandidaatide tulemusi. Meetod parandas keskmiselt kõikide kandidaatide lõikes viga 10%, eriti aitas see aga tasandada viga suurema häälesaagiga kandidaatide puhul. Oli ka kandidaate, kellel viga suurenes, kuid see oli väike vähemus.

Korrektsioon tähendab, et valim jagatakse probleeme tekitava demograafilise omaduse järgi gruppideks (näiteks rahvus) ning seejärel “kaalutakse” iga jagatud grupp ringi nii, et selle Riigikogu poliitilised eelistused ja valimisaktiivsus vastaksid sellele, mida näitab Riigikogu reitingu sama grupp. Seda tehes säilitatakse teiste demograafiliste omaduste esinduslikkus.

Meetodi puhul on väga oluline välja tuua, et varasemate testide järgi toimib see hästi juhtudel, kus:

1. Valim on väga lähedal rahvastiku ideaalile, ehk demograafiliste omaduste järgi peab kaaluma väga vähe. Meie kasutame valimite stabiilsuse hoidmiseks ka ristkvoote. Kaalumise efektiivsus püsib sellega meie korrigeerimata andmetes 98%-99% ringis.
   
2. Korrigeeritav uuring on tehtud võimalikult sarnasel perioodil, mil tehti esinduslik reiting. Nädalane nihe võib juba tekitada ootamatuid probleeme.
   
3. Nii Riigikogu reitingu kui ka korrigeeritavate andmete valim on piisavalt suur. Testide järgi toimib korrektsioon hästi, kui valim on 1500 või suurem. Väiksemaga võib korrektsioon tekitada väiksemaid vigu alagruppides või mittepoliitilistes küsimustes.
   

Viimases Euroopa Parlamendi reitingus, mille avaldasime 6. juunil, tekkis teise punkti vastu eksimus, mis kahandas ka ennustuse täpsust. Nimelt, selle korrigeerimisel kasutati 2 nädala reitingut, mis oli ühe nädala võrra uuringust tagapool. Kuna metoodika ühtlasena hoidmine oli aga oluline, otsustati siiski nihkes metoodika kasuks. Alternatiivne variant oleks olnud võtta 31. mail lõppenud uuringust esinduslikkust säilitades vastajaid juurde, et reitingu ja veebiuuringu ajavahemik oleks võimalikult sarnane. Korrektse ajavahemikuga kaaludes oleks olnud Isamaa viga 0.1, SDE 1, REF 0.1, EKRE 1 ja KESK 3.1.

Valimisaktiivsuse indeks

Teine suurem katsumus neil valimistel oli määratleda, kes läheb valima ja kes mitte. Selle hindamisel otsustasime Perry-Gallupi stiilis indeksi kasuks, mis põhineb 4 küsimusel:

• Kas plaanitakse minna valima.

• Kui palju mõeldakse praegustele valimistele.

• Kui oluliseks peetakse, kes valimised võidab.

• Kas vastaja on varem käinud valimas.

Põhjus, miks näiteks erinevalt Emorist otsustasime ühe küsimusega skaala vastu, seisnes selles, et varasemate EP valimiste eel ja järel tehtud avaandmetega uuringutes ei ennustanud skaala valimisaktiivsust piisavalt hästi. Mitme küsimuse kombinatsioon andis stabiilsemaid ja õigemaid tulemusi.

Kõige enam kahandas selline indeks noorte ennustatud aktiivsust ning tõstis vanemate valijate aktiivsust. Sama loogika kehtis veel sissetuleku osas, kus üle 2000€ netosissetulekuga isikutele ennustati 43% aktiivsust ja alla 500€ sissetulekuga 23% aktiivsust. Alg- või põhiharitutele tuli ennustatud aktiivsuseks 21% ja kõrgharitutele 43%. Muust rahvusest valijatel oli 25% ja eestlastest valijatel 38%. Väiksemas suurusjärgus oli ka meeste ennustatud aktiivsus kõrgem kui naiste oma.

Indeksi täpsust on valimiste avaandmete pealt veel keeruline kontrollida, kuna valimiste avaandmetes on eksitud sellega, mis maakondadesse on valijate hääled lisatud. Maakonda ei arvestata selle järgi, kus inimene elab või on registreeritud, vaid valimisjaoskonna järgi, kus ta andis hääle. Avaldatud andmed eksitavad veel vaatlejat sellega, et antud häälte protsenti arvestatakse maakonna valijate arvu järgi. See tõstis ekslikult neil valimistel oluliselt Tartu linna valimisaktiivsust ning väiksemal määral Tallinna aktiivsust. Kusjuures, Ida-Virumaa aktiivsus tuli väga lähedal sellele, mida indeks näitas. Küll aga alahinnati seal umbes 10% võrra Keskerakonna ja KOOS kogutoetust võrreldes teiste erakondade toetusega.

Probleem tuli välja ka sellest, kui valimispäeval võrdlesime ennustatud ja tegelikku aktiivsust. Maakondades, mis ei külgnenud suurte keskuste või linnadega, oli ennustatud ja tegeliku aktiivsuse keskmine viga 3%. Suuremate keskustega või nendega külgnevate maakondade keskmine viga oli aga 7%. Kui minna veel täpsemaks ja vaadata valla tasandil sisse (valim lubab), siis Tartu linnast kaugemal olevate Viljandimaa, Põlvamaa, Valgamaa ja Tartumaa valdade keskmine viga oli 4% ning linnaga külgnevate valdade aktiivsuse viga lausa 10%.

Kuna eesmärk oli nende valimiste jooksul kogutavate andmete põhjal välja töötada väga täpne metoodika EP aktiivsuse hindamiseks, viisime läbi ka paneelküsitluse kahes osas valimiste eel ja valimiste järel. Selle tulemused näitasid, et 4 aktiivsuse küsimuse vastused olid enam-vähem korrektse kaaluga sisse arvestatud.

Paneelküsitluse (kus samu inimesi on küsitletud erinevatel ajahetkedel) andmete põhjal ennustab eeldatult kõige paremini valima minekut see, kui vastaja ütleb, et ta kindlasti läheb valima. Vaid 8% nii vastanutest ei läinud. Nendest, kes hindasid enda minekut tõenäoliseks, läks 67% valima. Samas nendest, kes ütlesid, et pigem ei läheks valima, läks ometi 36% valima. Tõenäoliste gruppide korrektseks aktiivsuse hindamiseks kasutamegi 3 lisaküsimust: kas vastaja on varem EP valimistel osalenud, kui palju ta on nende valimiste peale mõelnud ning kas ta peab oluliseks, kes need valimised võidab. Paar väikest erinevust esialgse indeksi ja fookusgrupi andmete vahel siiski oli. Me ülehindasime väiksel määral valimiste võitja "Pigem ebaoluliseks" pidamise mõju, samuti "Ainult natuke" valimistele mõelnute mõju.

Uuendatud indeksiga paranes täpsus arvestatavalt. Viimase laine maksimaalne viga langes indeksi parandusega 3.3 pealt 2 peale (MSE 1.36), sellele eelneva laine puhul 3.1 pealt 2.5 peale (MSE 2.76). Mai keskpaiga laine viga jäi enam-vähem samaks.

Tulles paneelküsitluse põhjal tagasi mujal maakonnas hääletanute juurde, siis selle järgi hääletas 11% valinutest väljaspool rahvastikuregistrijärgset maakonda. Neist, kes hääletas Tartu linnas, oli 21% väljastpoolt, Pärnumaal 15%, Tartumaal 12% ja Tallinnas 12%.

Muu rahvuse hääled

Kui eestlastest valijate puhul näitasid meie EP reitingu lained korrektselt seda, kelle poolt minnakse valima, siis muu rahvuse puhul alahindasime, kui paljud neist valivad Keskerakonda ja Aivo Petersoni. Muu rahvuse häälte alahindamisel oli kaks põhjust. Esiteks, Ida-Virumaal ülehinnati valima minejate seas EKRE edu 5% ja Tallinnas 3% võrra ning seda ennekõike Keskerakonna ja KOOS arvelt. Samuti ülehinnati väiksel määral Sotsiaaldemokraatide edu. Umbes kolmandik muu rahvuse veast tuleb ka valimisaktiivsuse indeksist. Kui viimases laines ennustati Keskerakonna tulemuseks 9.1 ja KOOS tulemuseks 1.6, siis parandatud indeksiga on need arvud 10.5 ja 2.4.

Keskerakonna häälte puhul on aga oluline nüanss veel. Nimelt kuna uuringud näitasid korduvalt, et Keskerakonnal on oht mandaadist ilma jääda ning seda meedias ka korduvalt kajastati, võis see mõjutada Keskerakonna valijate aktiivsust.

Paneeluuringus vaatasime ka selle nurga alt sisse. Nimelt küsisime seal, kas vastaja nägi oma valitud erakonna sõnumeid, mis kutsusid valima, kuna natuke hääli on heast tulemusest puudu. Kui keskmiselt vastas sellele “Jah” 27% valinutest, siis Keskerakonda valinutest vastas “Jah” lausa 37%. Neilt, kes selliseid sõnumeid nägid, küsisime ka jätkuküsimusena, kas erakonna välja toodud häälte puudujääk motiveeris vastajat valima minema. Neist, kes seda mõju ise tunnistasid, oli Keskerakonnas sõnumi nägijatest lausa 37%. Teistes erakondades tunnistas sellist mõju keskmiselt 15% vastanutest.

Mõtteid tulevikuks

Eksperimentaalne Euroopa Parlamendi reiting näitas, et veebiuuringu põhjal on võimalik teha kõige täpsem reiting. Põhjuseid veebiuuringute eelistamiseks on kaks: veebiuuring võib tulla CATI (telefon) uuringust mitu korda odavam ja veebis on võimalik teha keerukamate eridisainidega ankeete. Täpsuse puhul kehtib küll jätkuvalt “aga”, et vaja läheb samaaegset ja väga täpset üldist reitingut tulemuste korrigeerimiseks. Kuna selline korrektsioon toimib peamiselt poliitilistes küsimustes, jätkame nii selle meetodi parandamist kui ka alternatiivsete korrektsiooniviiside otsimist, mis toimiksid universaalsemalt ka mittepoliitiliste uuringute puhul.