Puterea statistică și mărimea efectului

Conspect capitolul 8, ”Statistical Power and Effect Size” din ”Explaining Psychological Statistics”, de Barry Cohen.

Fundamente conceptuale

Distribuția ipotezei alternative 

Erorile de tipul II nu apar atunci când ipoteza nulă este adevărată. Aceste erori apar atunci când ipoteza nulă nu este adevărată, dar este acceptată.  

Pentru a identifica factorii care determină erorile de tipul II, este necesară o imagine mai clară a ce se întâmplă când ipoteza nulă este falsă.  Distribuția ipotezei alternative este opusul ipotezei nule, nefiind specifică. Proporția distribuției ipotezei alternative care rezultă în erori de tipul II este simbolizată prin beta. Proporția care rezultă în respingerea ipotezei nule se numește puterea testului, fiind egală cu diferența dintre unu și beta.  

Pentru a reduce probabilitatea de a comite o eroare beta, poate fi crescut pragul alfa. Însă, în acest caz, crește probabilitatea de a comite erori alfa. Se preferă că este mai importantă evitarea erorilor alfa, astfel încât pragul este menținut la .05.  

Valoarea t așteptată (delta) 

Puterea este dependentă de valoarea medie a t pentru distribuția ipotezei alternative. Această valoare este simbolizată prin delta. Delta corespunzătoare ipotezei nule este zero. Dacă delta este egală cu valoarea critică necesară pentru a fi semnificativ statistic, atunci beta va fi 50%.  

Delta poate fi văzut și ca valoarea t care corespunde unei anumite distribuții ale ipotezei alternative.  A fost propusă o formulă generală pentru calcularea valorii delta – produs dintre radical din n/2 și raportul dintre diferența mediilor și abaterea standard. Raportul dintre diferența mediilor și abaterea standard poartă numele de mărime a efectului, fiind notată cu litera d. Astfel, formula pentru t devine produsul dintre radical din n/2 și d. 

Mărimea efectului 

Ne putem gândi la mărimea efectului ca la gradul de suprapunere dintre două distribuții. Atunci când mărimea efectului este mică, gradul de suprapunere este mai mare. Conform lui Cohen, o mărime a efectului de .8 este o mărime a efectului mare, având șanse să fie identificată și cu un număr mic de participanți. O mărime de .2 este o mărime a efectului mică, iar .5 este o mărime a efectului medie.  

Analiza puterii 

Analiza puterii este o tehnică care prezice puterea unui test statistic înainte de a implementa experimentul. Dacă puterea prezisă este prea mică, experimentul nu ar trebui derulat. Se consideră că o putere de .7 este minimă. Dar nu este general valabil ca rata erorilor de tipul II să fie aibă un nivel la fel de scăzut ca eroarea de tipul I.  

După ce coeficientul alfa și caracterul unidirecțional sau bidirecțional sunt stabilite, puterea depinde doar de delta. Conform formulei, puterea testului poate fi crescută fie prin creșterea mărimii efectului, fie prin creșterea numărului de participanți. De obicei se crește numărul de participanți.  

Interpretarea valorilor t 

Un scor t mare nu spune nimic despre mărimea efectului, dar ne spune ceva despre delta. Este foarte improbabil ca delta să fie zero, așa cum prezice ipoteza nulă. De asemenea, delta se află undeva în vecinătatea scorului t. Motivul pentru care nu se știe nimic despre mărimea efectului este faptul că nu s-a luat în considerare numărul de participanți.  

Atunci când avem un rezultat nesemnificativ, este posibil să comitem o eroare de tipul II. Cu cât eșantionul este mai mic, cu atât mai mică este puterea efectului, și cu atât este mai probabilă o eroare de tipul II. Rezultatele negative care se bazează pe eșantioane mici nu sunt la fel de sigure ca cele bazate pe eșantioane mari. Un scor t mic, chiar și atunci când sunt utilizate eșantioane foarte mari indică o mărime a efectului mică.  

Compararea valorilor t din diferite studii 

O altă concluzie din analiza de putere este că două rezultate experimentale, bazate pe același număr de participanți, unul trecând la limită pragul alfa, și altul ratând la limită pragul alfa nu sunt foarte diferite. Acestea au mărimi ale efectului apropiate, și diferența dintre ele ar putea să nu fie semnificativă.  

De asemenea, valoarea lui p nu indică nimic despre mărimea efectului. Nu ne așteptăm ca un studiu cu p <.001 să aibă o mărime a efectului mai mare decât un p < .05. 

Estimarea mărimii efectului 

O modalitate de a estima mărimea efectului este utilizarea modelelor teoretice și a cercetărilor anterioare pentru a estima mediile populațiilor și abaterile standard. Cu acestea se poate calcula o mărime a efectului estimativă. 

Atunci când studiile anterioare nu sunt de ajutor, statisticile unui eșantion dintr-un studiu anterior pot fi combinate pentru a oferi o estimare a lui d. Formula ce poate fi utilizată în acest caz este raportul dintre diferența dintre medii și varianța cumulată. Acestă estimare se notează cu g. 

Testul t cu eșantioane egale exprimat în termenii lui g este produsul radicalului din n/2 și g. Dacă vrem să estimăm g dintr-un studiu publicat, formula devine produsul dintre radical din n/2 și t.  

Manipularea puterii 

Cea mai ușoară modalitate de a manipula puterea unui studiu este reglarea mărimii eșantionului. Deși puterea poate fi manipulată și prin modificarea valorii alfa, această abordare nu este acceptată. O a treia posibilitate este modificarea mărimii efectului, prin modificarea intensității manipulării experimentale. Însă acest lucru poate fi neplăcut sau chiar periculos pentru participanți.  

O altă posibilitate este scăderea abaterii standard. Cercetătorii încearcă să mențină abaterea standard la un nivel mai mic prin păstrarea condițiilor la fel pentru toți participanții, cu excepția manipulării experimentale. Dar apare și efectul diferențelor individuale. În acest caz, se recomandă includerea unei persoane în mai multe condiții sau potrivirea participanților în grupele experimentale.  

Proceduri statistice de bază

Utilizarea tabelelor de putere 

Pentru a identifica delta, trebuie identificată proporția distribuției t noncentrale care se află în zona de respingere a testului. Acest proces implică tabele pentru distribuțiile t noncentrale. Aria din partea stângă a valorii critice conține acele rezultate pentru care ipoteza nulă trebuie acceptată, riscând să apară erori de tipul II.  

Tabelul poate fi utilizat pentru a determina puterea experimentului pe baza valorii delta obținute. Tabelul poate fi folosit și pentru a vedea ce delta este necesar pentru un anumit nivel de putere.  

Relația dintre alfa și putere 

Puterea se modifică în funcție de pragul alfa setat. Pe măsură ce alfa scade, valorile critice se deplasează spre drepta în distribuția ipotezei alternative. Deoarece există o arie mai mică după valoare critică, existând mai puține rezultate semnificative, scade și puterea.  

Dacă luăm în considerare testele unidirecționale și bidirecționale, cele unidirecționale au un avantaj în ceea ce privește puterea.  

Analiza de putere cu eșantioane fixe 

Eșantioane inegale 

Uneori nu este posibil ca mărimea eșantioanelor să fie egală. În astfel de cazuri se utilizează media aritmetică a numărului de participanți din eșantioane, în locul lui n.  

Identificarea mărimii efectului pentru un nivel de putere dorit 

În situațiile în care mărimile eșantioanelor sunt fixe, cercetătorul poate estima puterea pentru mai multe mărimi ale efectului, pentru a determina cea mai mică mărime a efectului pentru care puterea este acceptabilă. Cea mai mică mărime a efectului care oferă un nivel de adecvat de putere poate fi identificat prin produsul raportului dintre radical din 2/n și delta.  

Determinarea mărimii eșantionului 

Numărul de participanți poate fi limitat de costuri, mai ales dacă sunt utilizate proceduri medicale costisitoare, precum RMN sau PET. Chiar dacă participanții trebuie doar să completeze un chestionar, sunt implicate costuri de timp și efort. Dacă înscrierea se face pe bază de voluntariat, este posibil ca la următorul studiu să se înscrie mai puțini. Din aceste motive, cercetătorii încearcă să includă numărul minim necesar de participanți.  

Pentru a determina numărul minim de participanți necesari, prima dată trebuie ales nivelul minim de putere. De obicei, o valoare de .8 este dorită. Cunoscând puterea și coeficientul alfa, se poate calcula delta. Apoi trebuie identificată o estimare a lui d. Acestea pot fi introduse în formula pentru delta, reordonată pentru a calcula numărul de participanți. Astfel, n este egal cu produsul dintre 2 și pătratul raportului dintre delta și d.  

Setarea limitelor pentru mărimea eșantionului 

Analiza de putere poate fi folositoare și când nu este disponibilă estimarea lui d. În acest caz, cercetătorul trebuie să decidă care este cea mai mică mărimea efectului urmărită. Un mod de a decide cât de mic devine prea mic este să ne uităm numărătorul formulei – diferența mediilor. După ce decidem care diferență este cea mai mică acceptabilă, aceasta se raportează la o estimare a abaterii standard pentru a determina.  

Puterea testului cu un eșantion 

În cazul experimentelor cu un singur eșantion, formula se modifică. Astfel, delta este egală cu produsul dintre radical din n și d. Astfel, atunci când vrem să calculăm numărul de participanți, formula este pătratul raportului dintre delta și d.