giovedì 23 luglio 2009 - Termometro Politico

Classifica di Precisione degli Istituti di Sondaggio - Elezioni Europee 2009

In linea con quanto fatto per le Elezioni Politiche Nazionali 2008, presentiamo la Classifica di Precisione degli Istituti di Sondaggi per le Elezioni Europee 2009.

http://www.termometropolitico.it/index.php/Sondaggi/classifica-di-precisione-degli-istituti-di-sondaggio-elezioni-europee-2009.html

In linea con quanto fatto per le Elezioni Politiche Nazionali 2008, presentiamo la Classifica di Precisione degli Istituti di Sondaggi per le Elezioni Europee 2009.

Note metodologiche:

1) Sono stati considerati solo sondaggi ufficiali apparsi sul sito http://www.sondaggipoliticoelettorali.it/ a partire dal 20 Febbraio 2009 sino al 21 Maggio 2009, prima del blocco delle pubblicazioni secondo la Legge 22 Febbraio 2000, n. 28, Art. 8. Vengono quindi ignorati tutti i sondaggi privati comparsi durante i 15 giorni di oscuramento.

2) Per alcuni Istituti di Sondaggi mancano delle rilevazioni (per esempio il dato riferito ad AUT ed Altri): la media e deviazione standard sono quindi considerate su tutti i dati rimanenti.

IPSOS è risultato essere quindi l’Istituto di Sondaggi più preciso durante le Elezioni Europee 2009.

Il Termometro Politico è stato tra i più precisi nel campionare i primi 3 partiti per numero di voti, mentre ha sovrastimato troppo le Autonomie e sottostimato IDV e gli schieramenti sotto il 2% (categoria Altri). Per una maggiore e dettagliata descrizione del metodo CAWI (il Termometro Politico è stato l’UNICO ad usarlo) ed il metodo CATI vi consigliamo la lettura di questo nostro articolo Sovrastime e sottostime nei sondaggi CAWI nella sezione "Blog" del sito. Il metodo CATI è il canonico sondaggio effettuato per telefono, mentre il metodo CAWI è il sondaggio effettuato via internet.

GUARDA TUTTE LE TABELLE E GRAFICI

CLASSIFICA GENERALE: Valore Assoluto di Precisione

(media delle differenze percentuali assolute tra il sondaggio ed il risultato finale)

ISTITUTO	Errore Assoluto Medio	Dev. Stand. Media	Numero Sondaggi
	11,682%	17,295%	4
	14,682%	14,682%	1
	15,348%	26,494%	3
	16,807%	25,507%	10
	17,354%	27,404%	5
	18,413%	32,713%	2
	19,464%	28,006%	6
	23,287%	23,287%	1
	25,06%	40,017%	2
	26%	26%	1

Nota Esplicativa alla Tabella di Precisione.

Errore Medio Assoluto: per ogni Istituto, si è calcolato l’errore percentuale che è stato commesso per campionare i vari partiti in ogni sondaggio. Questi errori possono essere positivi o negativi a seconda che il dato Istituto, nel particolare sondaggio, abbia sottostimato o sovrastimato. Poichè in questa tabella siamo interessati a valutare il grado di precisione globale, abbiamo preso il valore assoluto di ogni errore (i dati negativi diventano pertanto positivi) ed abbiamo quindi calcolato la media per ogni Istituto su tutti i sondaggi effettuati. Questo è il dato percentuale che si osserva nella seconda colonna della tabella. Chiaramente più questo errore medio assoluto è basso e maggiore è stata la precisione.

Deviazione Standard Media: la deviazione standard è un indicatore statistico che evidenzia il grado di scostamento dal valore medio. Per esempio, se il valore medio di errore assoluto del Termometro Politico è di 17,354%, vuol dire che possiamo stabilire quanti valori siano compresi in un intervallo compreso tra 17,354% + 27,404% e 17,354% - 27,404%. Per ogni Istituto, abbiamo calcolato la deviaizone standard in ogni singolo sondaggio e successivamente calcolato la media. Chiamando σ (sigma) la deviazione standard, questo intervallo può essere visualizzato nel seguente modo, dove la linea orizzontale di colore blu (valore 50) indica il valore medio

Deviazione Standard

Tra gli Istituti di Sondaggi che si presentarono anche durante le Elezioni Politiche del 2008, presentiamo il confronto tra i valori assoluti di errore medio.

Demos: 24,87% nel 2008, 15,35% nel 2009. Miglioramento pari a 9,52%.

Demopolis: 26,67% nel 2008, 18,41% nel 2009. Miglioramento pari a 8,26%.

Ipsos: 28,49% nel 2008, 11,68% nel 2009. Miglioramento pari a 16,81%.

IPR: 29,64% nel 2008, 26% nel 2009. Miglioramento pari a 3,64%.

Ispo: 29,9% nel 2008, 14,68% nel 2009. Miglioramento pari a 15,22%.

Euromedia: 31,94% nel 2008, 25,06% nel 2009. Miglioramento pari a 6,88%.

Digis: 33,92% nel 2008, 16,8% nel 2009. Miglioramento pari a 17,12%.

Notiamo quindi come gli Istituti di Sondaggi siano stati molto più precisi nelle passate Elezioni Europee 2009 rispetto alle Elezioni Politiche 2008. Nessun Istituto nel 2009 ha sbagliato complessivamente oltre il 26% (IPR), mentre nel 2008 ben 4 Istituti sbagliarono di oltre il 30%. Digis, con i suoi 10 sondaggi, può essere considerato in termini assoluti l’Istituto più attendibile. Poca attendibilità statistica mostrano pertanto gli Istituti con un solo sondaggio all’attivo nel 2009.Tuttavia notiamo una maggior deviazione standard media nel 2009 rispetto al 2008, segno di maggior volatilità nelle rivelazioni, complice in particolare la forte sovrastima del PDL, come noteremo più in avanti. Il Termometro Politico, alla sua prima apparizione ufficiale in una tornata elettorale di carattere nazionale, si è comportato piuttosto bene: con 5 sondaggi all’attivo risulta il terzo Istituto per numero di campionamenti (dopo Digis e Crespi) ed il quinto per precisione assoluta.

TABELLA per PARTITO: Valore Relativo di Precision CDX

Istituti in Ordine Alfabetico

(media delle differenze percentuali relative tra il sondaggio ed il risultato finale, per partito)

ISTITUTO
	Valor Medio (%)	16,147	-1,4706	-7,9487	62,727
	Dev. Stand. (%)	4,4791	6,3157	10,037	7,4689
	Valor Medio (%)	14,731	-4,4118	-5,3846	50
	Dev. Stand. (%)	2,0031	3,4662	7,615	19,285
	Valor Medio (%)	10,954	-2,6144	3,5897	59,091
	Dev. Stand. (%)	2,0493	6,5278	9,8909	0
	Valor Medio (%)	13,286	2,3529	-10	20
	Dev. Stand. (%)	1,2272	8,5243	6,5372	11,775
	Valor Medio (%)	20,538	1,4706	-16,154	NaN
	Dev. Stand. (%)	2,2034	4,8527	9,7907	NaN
	Valor Medio (%)	1,983	-6,8627	23,077	36,364
	Dev. Stand. (%)	0	0	0	0
	Valor Medio (%)	9,2776	8,88E-15	-5	NaN
	Dev. Stand. (%)	3,8937	7,4664	4,0461	NaN
	Valor Medio (%)	9,0652	-6,8627	0	-9,0909
	Dev. Stand. (%)	0	0	0	0
	Valor Medio (%)	12,465	-5,8824	1,5385	36,364
	Dev. Stand. (%)	0	0	0	0
	Valor Medio (%)	9,6884	-4,1176	-12,308	69,091
	Dev. Stand. (%)	3,0074	3,0534	5,2172	6,742

Nota Esplicativa alla Tabella per Partito.

In questa tabella e successiva abbiamo calcolato l’errore che ogni Istituto ha commesso in ogni singolo sondaggio, relativamente al dato partito. Siamo qui interessati a valutare la sovrastima (errore negativo) e sottostima (valore positivo). I valori di errore percentuale che osservate nella terza e quinta colonna sono i dati medi su tutti i sondaggi che il relativo Istituto di Sondaggi ha effettuato.

TABELLA per PARTITO: Valore Relativo di Precisione CSX

Istituti in Ordine Alfabetico

(media delle differenze percentuali relative tra il sondaggio ed il risultato finale, per partito)

ISTITUTO
	Valor Medio (%)	-7,0881	-10	-3,4314	-13,172
	Dev. Stand. (%)	5,6453	9,3541	19,897	17,798
	Valor Medio (%)	-0,38314	-3,125	-10,294	-11,29
	Dev. Stand. (%)	0	4,4194	22,877	11,405
	Valor Medio (%)	-1,1494	1,25	27,451	-1,6129
	Dev. Stand. (%)	1,3814	6,9597	51,14	2,281
	Valor Medio (%)	-5,3257	5,125	11,176	-20,323
	Dev. Stand. (%)	2,9538	9,7974	16,626	15,66
	Valor Medio (%)	-14,943	-7,5	100	-22,581
	Dev. Stand. (%)	1,0837	1,7678	79,03	0
	Valor Medio (%)	-15,709	0	-11,765	93,548
	Dev. Stand. (%)	0	0	0	0
	Valor Medio (%)	-2,0115	17,5	-13,725	-4,14E-15
	Dev. Stand. (%)	3,7977	4,4488	13,899	8,5347
	Valor Medio (%)	3,4483	6,25	-11,765	-35,484
	Dev. Stand. (%)	0	0	0	0
	Valor Medio (%)	4,9808	-10	-29,412	-3,2258
	Dev. Stand. (%)	0	0	0	0
	Valor Medio (%)	1,0728	-16	-22,353	-7,7419
	Dev. Stand. (%)	2,3835	9,6177	9,6657	18,615

Deriva da queste due tabelle la matrice di correlazione (la quale misura il grado di dipendenza ctra due partiti) in cui prendiamo come punto di riferimento soltanto i partiti che hanno superato il quorum (e relative coalizioni)

	Pdl	Lega	CDX	UDC	PD	IDV	CSX
Pdl	1	-0,13951	0,883	-0,57959	-0,23774	-0,38293	-0,3987
Lega	-0,13951	1	0,21564	0,10841	-0,41701	0,47873	0,06505
CDX	0,883	0,21564	1	-0,43621	-0,36775	-0,13116	-0,40424
UDC	-0,57959	0,10841	-0,43621	1	-0,11735	0,36128	0,033838
PD	-0,23774	-0,41701	-0,36775	-0,11735	1	-0,17298	0,6909
IDV	-0,38293	0,47873	-0,13116	0,36128	-0,17298	1	0,36443
CSX	-0,3987	0,06505	-0,40424	0,033838	0,6909	0,36443	1

in cui si osserva la buona correlazione (relativamente al grado globale di correlazione che due partiti possono presentare in un’elezione di questo tipo) tra IDV e Lega ( 0.5), il che indica che se uno aumenta di percentuale anche l’altro partito segue conseguentemente questo trend. Sorprendentemente i due partiti principali delle coalizioni, PDL e PD, sono negativamente correlati con i loro diretti partner, Lega ed IDV, a dimostrazione del fatto che questi ultimi due drenano naturalmente voti principalmente dai diretti alleati. L’UDC drena voti anche da PDL (-0,57) e molto più debolmente dal PD (-0,12), mentre sembra positivamente correlato con l’IDV (0,36), probabilmente perchè condividono un elettorato comune di cattolici.

MIGLIOR SONDAGGIO: Sondaggio più preciso

Istituti in Ordine Alfabetico

ISTITUTO	DATA
	03/03/2009	38,5	11	7	23,5	8	4	3,3	-	3,3
	21/05/2009	40	10	5,8	26	8	3,6	2,5	3,6	0,5
	15/05/2009	38,8	10,1	7,2	25,7	8,2	3,7	3,1	-	3,2
	23/03/2009	39,5	11	5,8	24,2	8,3	4	2,7	2,5	2,0
	24/03/2009	43,1	10,7	5	22,4	7,3	4,9	2,4	-	4,2
	27/02/2009	36	9,5	8	22	8	3	6	3	4,5
	20/04/2009	39,5	9,7	5,8	26,2	9,2	3,3	3,0	-	3,3
	20/05/2009	38,5	9,5	6,5	27	8,5	3	2,0	2	3,0
	19/05/2009	39,7	9,6	6,6	27,4	7,2	2,4	3,0	3	1,1
	07/05/2009	37,4	9,8	5,6	26,9	7,7	2,7	3,1	3,5	3,3
	Risultato Finale	35,3	10,2	6,5	26,1	8	3,4	3,1	2,2	5,2

Si vorrebbe teoricamente trovare una linea comune sul momento temporale in cui i vari Istituti sbaglino di meno: ciò tuttavia non emerge da questi dati. Se è vero da una parte che non tutti gli Istituti abbiano effettuato sondaggi per tutta la durata della campagna elettorale, è altrettanto vero che potremmo mettere in relazione il grado di deviazione delle varie rilevazioni con i risultati finali e le seguenti medie, calcolate prima dell’oscuramento dei sondaggi:

PDL = 39,76% (-11,217%)

PD = 25,06% (4,1619%)

Lega Nord = 10,08% (1,1331%)

IDV = 7,91% (1,1561%)

UDC = 6,06% (7,2607%)

SeL = 2,79% (10,9%)

RC + PdCI = 3,55% (-4,1459%)

AUT = 3,11% (-29,383%)

Altri = 2,69% (93,103%)

Tra parentesi sono stati indicati gli scarti percentuali rispetto ai risultati finali. Si evince quindi come il PDL sia stato largamente sovrastimato. I grossi problemi emergono nei partiti che non hanno superato il quorum del 4% imposto dalla legge elettorale. SeL sottostimanta del 10% ed Altri quasi del 100%. La formazione di RC e PdCI leggermente sovrastimata (4%) mentre le Autonomie sovrastimate di un 30%. Emerge come paradossalmente gli unici due partiti usciti vittoriosi dalle Elezioni Europee 2009, Lega per il CDX e IDV per il CSX siano stati i partiti più precisamente campionati. Facciamo inoltre notare che sebbene per un partito oltre il 10%, un errore assoluto dell’1-2% non cambi di molto la situazione, se non in termini di maggiore o minore rappresentanza parlamentare, per i partiti sotto il quorum tale errore potrebbe significare la frontiera da sopravvivere o scomparire elettoralmente parlando. Gli Istituti di Sondaggi, compreso il Termometro Politico, devono quindi affinare le tecniche di campionamento e calibratura dei dati grezzi, a prescindere dal tipo di metodologia usata, sia essa CATI o CAWI.

Mostriamo ora il grafico di dispersione relativa su tutti i partiti

Dispersioni Relative

Laddove mancano dati nel grafico è perchè non sono presenti rilevamenti dal sondaggista di turno. Appare molto chiaro quanto siano stati i partiti più piccoli a peggiorare sensibilmente il grado di precisione globale dei 10 Istituti di Sondaggi, con un picco molto alto per RC+PdCI (rilevamento di 8,7%) da parte di Euromedia in data 28 Febbraio 2009.

In una prossima analisi, che presenteremo a breve, vedremo quali tipi di andamenti stocastici hanno mostrato le rilevazioni dei vari partiti in funzione del periodo del sondaggio. Un’analisi GARCH(1,1) è stata effettuata per ogni partito e coalizione, la cui deviazione standard condizionata risulta essere piuttosto simile per tutti i partiti tranne per UDC, AUT e Lega. Il PD mostra una deviazione standard condizionale piuttosto altalenante. Grafici di densità di probabilità saranno inclusi, così come per le differenze relative, utili per comprendere quale sia la relazione tra un sondaggio e quelli immediatamente successivo e precedente.