Estimades enquestes

El excel (el calc de l’open office, per ser concret) em torna bastant locu.

També em torna bastant locu tenir accés, a través d’internet, a les dades en brut de les enquestes d’opinio que es fan i sobre les quals els diaris en fan notícies.

Vagi per davant, per qui no em conegui, que no sóc estadístic ni demòcrata, i la palla mental que ve a continuació es només un entreteniment. Potser sí que té una mica de sentit assenyalar el poc criteri que la premsa té per publicar i fer portades, sense processar materials que són resums de resums de dades fredes de les que no s’acava d’entendre com els instituts d’opinió treuen els resultats que treuen.

Ahir es va publicar el “barómetre del Centre d’Estudis d’Opinió“, que ve a ser l’enquesta política oficial que fa la generalitat tres cops l’any. Els titulars de la premsa destaquen un empat tècnic entre CIU i ERC, però això és només un titular extret de 724 pàgines de taules amb els resultats d’una enquesta realitzada a 2000 persones.

En realitat, la dada de la que parlaran els tertulians no apareix en cap taula estadística, per això ens hem d’anar al dossier de premsa, que només té 102 pàgines. De fet, la dada no apareix fins la pàgina 100, dins de l'”anex 2″.

Em venen al cap dos motius per ubicar aquesta dada crucial al final del dossier: que qui l’elabora sap que és l’únic que els periodistes llegiran i considera que al final de tot es troba millor, o que, en un atac de dignitat, l’ubiquen fora del que és propiament l’estudi, ja que les dades no es poden deduir directament i són molt discutibles.

La setmana passada llegia un article on es posava en dubte el criteri del CIS per fer les seves estimacions de vot. El tema es pot resumir explicant que una cosa és la intenció directa de vot, el que la gent respon a l’enquesta, i una altra el resultat d’una càbala hermètica que fan aquests instituts per intentar predir que farà tota aquella gent que diu que no sap què votarà o que no pensa respondre aquesta pregunta. Això últim és el que s’anomena “estimació de vot”.

Ni el CEO ni el CIS publiquen quin és el criteri que utilitzen per convertir els resultats de l’enquesta en estimació de vot. En el cas del baròmetre català es limiten a dir que aquestes estimacions són el resultat d’aplicar un model propi a les dades directes d’”intenció de vot” proporcionades per l’enquesta en el qual s’inclou un procés de ponderació dels resultats per record de vot imputat i l’efecte de la relació entre la variable “intenció de vot” amb d’altres variables contingudes a la mateixa enquesta.

Vale?

Després de fullejar l’informe amb les taules, el gordote, buscant dades frikis sense sentit, m’he fixat en què deien els resultats sobre intenció de vot. Una primera dada que m’ha grinyolat és que la CUP és la tercera preferència, per davant del PSC, entre les 2000 persones enquestades.

ceo1

La primera precaució ha estat tenir en compte la perversa llei d’hondt. En altres ocasions hem fet experiments calculant què passaria si no s’apliqués i es tingués en compte l’abstenció, però aquest cop he fet el procés contrari:

A partir de la intenció directa de vot, per demarcacions he calculat com s’ompliria el parlament si només votessin les 2000 persones enquestades:

ERC 50
CIU 37
CUP 14
PSC 13
ICV 11
C’s 8
PP 2

És força diferent del que diu l’estimació de vot, oi?

El primer que no podem saber és quines són les seves estimacions a cada demarcació, de manera que ni tan sols podem comprovar si ells han aplicat la llei d’hondt.

Tal i com indicava l’article sobre el CIS que he esmentat més amunt, una manera d’orientar-se és veure quina relació hi ha entre el vot directe i l’estimat de cada partit. És necessari realitzar un ajustament en el vot directe, ja que aquest percentatge es dona en relació al total de les enquestes, tenint en compte les abstencions i les persones indecises.

Directe Estimat Proporció
ERC 32.7% 21.8% 0.68
CIU 23.3% 22% 0.95
CUP 10.3% 6.6% 0.64
PSC 9.8% 11.4% 1.17
ICV 8% 11.7% 1.46
C’s 6.4% 11.6% 1.81
PP 2.6% 9.2% 3.59

Per entendre la última columna, un resultat 1 sigificaria que el resultat directe és igual a l’estimat. Els valors per sobre d’1 indiquen que el vot estimat és superior al directe, els menors d’1, que el vot estimat és inferior al registrat a l’enquesta.

Salta a la vista la desproporció entre CUP i ERC, als quals se’ls ha esgarrapat un terç dels vots, i PP i C’s, al primer dels quals se li han triplicat els vots.

Normalment es parla d’un “vot ocult” per referirse a les persones que voten certs partits però no ho diuen a les enquestes. Suposo que votar un partit feixista es força vergonyant, tot i que votar sigui a qui sigui ja és en si una idea força ridícula. En qualsevol cas, ens podem remuntar a la tardor de 2012 i veure les proporcions que es van donar entre la intenció de vot directe al baròmetre tot just anterior a les eleccions i els resultats electorals:

El ratio del PP va ser de 3 vots reals per cada vot declarat a l’enquesta. Es tracta d’una xifra força alta, però sembla difícil justificar perquè un any i mig més tard aquesta augmenta al 3.59 (un augment del 20%).

La paradoxa és que si apliquem aquest mateix criteri a la resta de partits (suposar que la proporció directa/estimada serà semblant) tenim que ERC tenia una proporció del 1.38, mentre ara se li aplica una del 0.68, i ICV, que tenia una del 0.99,  ara té un 1.46.

Un cas apart és C’s: els vots reals van suposar 7 vegades la intenció directa.

Llavors, quin diantre de criteris utilitzen per calcular l’estimació de vot?

Repetim la única explicació que dóna el dossier de premsa:

…un procés de ponderació dels resultats per record de vot imputat i l’efecte de la relació entre la variable “intenció de vot” amb d’altres variables contingudes a la mateixa enquesta.

Molt bé, anem a buscar altres variables dins l’enquesta que ens permetin ponderar el vot directe.

En principi suposarem que part del 20% de persones que no han respost o han respost que no saben a qui votaran acabaran votant a algú. També suposarem que qui sí ha declarat a qui votarà està dient el que realment farà.

Llavors ens trobem que el mètode per ponderar els resultats es basaria en intentar esbrinar a qui votarà aquest 20% d’indecisos.

A les taules de resultats es desgrana què han respost els indecisos en altres preguntes. Una de les preguntes més indicatives podrien ser:

Em podria dir per quin partit sent més simpatia?

La majoria de les respostes dels indecisos no són NS/NC, i per tant podem suposar que acabarien votant el partit pel que senten major simpatia. Per altra banda, el 65% dels indecisos diu que no sent simpatia per cap partit, però resulta que entre el total de les enquestes aquesta és la resposta del 50% de les persones. Hem optat per respectar aquesta opció, de manera que ens continua quedant un 65% dels indecisos sense poder esbrinar a qui votarien.

Hem sumat als vots de cada partit la part proporcional dels indecisos que senten simpatia per alguns d’ells.

A continuació hem consultat el record de vot, és a dir, a qui diuen que van votar les anteriors eleccions. És interessant comprobar que les respostes s’assemblen molt vagament als resultats reals, i no sé si n’hauriem de culpar els enquestats per mentiders o ens dóna una pista sobre l’error estadístic d’una enquesta amb només 2000 entrevistes.

En qualsevol cas, repetim el procediment i suposem que els indecisos acabarien votant el mateix que diuen que van votar fa 2 anys i ho sumem als resultats. Així reduïm els indecisos fins un 10%.

Els resultats que obtenim, després distribuir indecisos en funció de la simpatia que declaren per algun partit i el record de vot, serien les següents:

Escons Percentatge Proporció*
PPC 2 2% 1.23
CIU 38 17.4% 1.14
ERC 48 21.7% 1.03
PSC 16 8.3% 1.3
ICV 11 5.7% 1.07
C’s 7 4% 0.95
CUP 13 6.7% 0.99

*Proporció respecte a la intenció de vot directe.

Aquesta ponderació ha suposat certs ajustos, però no sembla que res apunti a les estimacions del CEO. És destacable que els partits que més han crecut en la ponderació són PSC i PP, seguit de CIU, però en el cas dels populars encara està molt lluny de les dades estimades oficials.

A continuació podriem observar què opinen sobre la hipotètica consulta del dia 9 de novembre, però a simple vista s’observa que les proporcions entre el si i el no són pràcticament les mateixes que entre el total dels enquestats, de manera que decartem distribuir els indecisos que ens queden segons aquest criteri.

La següent pista per intentar esbrinar què votarien els indecisos que ens queden (fins ara hem arribat a ponderar el vot del 72% dels enquestats, just per sobre de la participació de 2012) ens fixarem en una pregunta molt simpàtica:

Com es definiria vostè en política, segons la següent classificació?

Les opcions que es donen són:

Socialista, Ecologista, Liberal, Progressista, Apolític, Nacionalista, Conservador/a, Socialdemòcrata, Feminista, Demòcrata-cristià/ana, Comunista, Anarquista.

Atribuir a cada un d’aquestes ideologies un partit o partits concrets seria força arriscat i arbitrari, així que hem optat per distribuir els indecisos que ens queden proporcionalment al que diuen els votants. És a dir, si entre els votants que es declaren independentistes, un 50% són votants de ERC, un 20% ho son de CIU, un 12% de la CUP, els indecisos els repartirem segons aquesta proporció (de manera que encara quedaran alguns indecisos sense vot definit).

Els resultats després de repartir vots segons la ideologia són els següents:

Escons Percentatge Proporció
PPC 2 2.2% 1.19
CIU 36 18.9% 1.12
ERC 49 23.9% 1.03
PSC 17 9.2% 1.3
ICV 11 6.3% 1.08
C’s 6 4.4% 0.95
CUP 14 7.4% 1

Sembla que la tendència segueix sent la mateixa, però cada cop s’accentua més un vot ocult cap al PSC que no pas cap al PP.

En aquests resultats, després de sumar la simpatia, el record de vot i la ideologia, arribariem a una participació del 76%, 9 punts per sobre del rècord de 2012.

Però el cas és que no apareix enlloc cap vot ocult, ni tenim cap indici que ens expliqui com el CEO ha arribat a les estimacions de les que tots els diaris parlen.

Finalment, en un experiment sense sentit, hem decidit repartir els indecisos que ens quedaven entre PP I C’s, proporcionalment al vot de 2012, inflant els seus vots de manera arbitraria, obtenint els següents resultats:

Escons Percentatge Proporció
PPC 8 4.5% 2.28
CIU 35 18.9% 1.07
ERC 45 23.9% 0.98
PSC 16 9.2% 1.24
ICV 10 6.3% 1.03
C’s 11 5.82% 1.19
CUP 12 7.4% 0.95

Ni tan sols així arribem a les xifres del CEO. Comparem les proporcions que hem aconseguit (abans de la patillada final) amb les del centre d’estudis d’opinió:

Proporció 2012* Proporció CEO Proporció Bacterio
PPC 3.01 3.59 1.19
CIU  0.79 0.95 1.12
ERC  1.38 0.68 1.03
PSC  1.02 1.17 1.3
ICV  0.99 1.46 1.08
C’s  7.08 1.81 0.95
CUP 0.64 1

 *Proporció entre intenció de vot directe a enquesta de 2012 i els resultats electorals.

Com deia al començament del post, no em preocupa gaire quin serà el resultat de les eleccions, i tinc clar que sóc dels que repondria “no votaré”, però si sembla preocupant que la generalitat es gasti 45.000 € per acabar donant uns resultats que no explica d’on surten (tot i publicar 800 pàgines entre taules i dossiers) i que sembla basar-se més en la metodologia per fer una quiniela que en la estadística.

Potser m’equivoco, però explicar, ni que sigui per sobre, d’on surten aquests resultats evitaria suspicàcies.

Tot plegat, seria molt més sensat que un centre dedicat als estudis d’opinió es limités a donar els resultats crus de l’enquesta i recordar que només és una enquesta. Però llavors els diaris no en farien portades.

Deixa un comentari

L'adreça electrònica no es publicarà. Els camps necessaris estan marcats amb *