Natura Experimentelor Psihologice (II): Validitatea

Conspect al capitolului 3, ”The Nature of Psychology Experiments (II): Validity” din ”Experimental Design and Statistics for Psychology”, de Fabio Sani și John Todman.

În capitolul 2 a fost folosit exemplul experimentului menit să testeze ipoteza că dispoziția afectivă pozitivă determină o performanță intelectuală superioară. Acest experiment a presupus inducerea unei dispoziții pozitive unui grup experimenta și inducerea unei dispoziții neutre unui grup de control. După această manipulare a variabilei independente (VI: dispoziția), participanții din ambele grupuri au rezolvat 10 probleme de logică. Presupunem că dacă participanții din grupul cu dispoziție pozitivă rezolvă mai multe probleme corect decât cei din grupul cu dispoziție neutră, această diferență se datorează manipulării noastre. 

Există însă și probleme care pot să pună sub semnul întrebării concluziile legate de relația dintre dispoziție și performanță. Este posibil ca modul de măsurare pe care l-am folosit să nu reflecte variabila pe care se presupune că o măsoară. Sau scorurile mai mari ale grupului experimental, raportat la cele ale grupului de control, s-ar putea datora unor alți factori. Iar o altă posibilitate este ca rezultatele pe care le-am obținut noi pe un anumit tip de participanți să nu fie replicat în alt context și cu alte tipuri de participanți. 

Toate aceste aspecte sunt legate de conceptul de validitate a experimentului. Dacă un experiment este valid, ne permite să tragem concluzii cu privire la efectele pe care ne-am propus să le testăm.  

Există trei tipuri importante de validitate: de construct, internă și externă.  

Validitatea de construct 

Validitatea de construct este măsura în care o variabilă reflectă acel construct teoretic pe care se presupune că îl măsoară. În exemplul nostru, se referă la gradul în care manipulăm dispoziția afectivă. E posibil să nu manipulăm nimic, de fapt, sau să manipulăm un alt construct. Spre exemplu, vizionarea clipului video s-ar putea să nu modifice dispoziția sau problemele de logică să nu reflecte performanța intelectuală. 

Validitatea internă 

Există nenumărate alte variabile, altele decât VI, care ar putea influența VD. Aceste variabile sunt numite variabile confundate (VC; nuisance variables). Acestea sunt cele ce determină apariția erorii de măsurare și amenință validitatea internă, definită ca fiind capacitatea experimentului de a releva efectele pe care VI le are asupra VD. 

Aceste variabile confundate sunt responsabile atât de eroarea sistematică, cât și pentru cea aleatorie. Eroarea sistematică afectează dramatic validitatea internă, pe când cea aleatorie nu reprezintă o amenințare. 

Eroarea sistematică 

O VC poate determina eroare sistematică dacă efectele sale asupra VD sunt atribuite în mod eronat efectului sistematic al VI. Spre exemplu, dacă grupul de control a fost mai obosit decât cel experimental, eventuala diferență în performanța intelectuală se poate datora nu dispoziției afective, ci gradului de oboseală, însă această relație cauzală este ascunsă experimentatorului, care concluzionează (eronat) că dispoziția impactează performanța. 

Este important de reținut că eroarea sistematică nu doar creează diferențe între condiții, dar poate elimina diferențe care ar fi existat. De exemplu, să spunem că într-un studiu despre efectele stării emoționale asupra raționamentului, participanții vin după o petrecere, iar oboseala le scade performanța.  

Pentru a menține validitatea internă a studiului și a îndepărta erorile sistematice se încearcă controlul cât mai mare al acestor variabile. Există două tipuri de variabile negative – variabile situaționale și variabile personale.  

Variabilele situaționale sunt cele asociate cu situația experimentală în sine. Două exemple tipice de astfel de variabile sunt momentul experimentului și locația sa. Doar participanții care vin în același moment sau în aceeași locație vor fi afectați de variabila situațională.  

Există două modalități în care aceste variabile pot fi controlate – fie eliminarea lor, fie transformarea lor în eroare aleatoare. Eliminarea implică păstrarea sa la un nivel constant de-a lungul experimentului. De exemplu, pentru momentul din zi, toți participanții vor participa în aceeași parte din zi. Însă cu cât controlăm mai multe variabile, cu atât mai specifică devine situația și scade posibilitatea de a generaliza rezultatele.  

Cealaltă alternativă este transformarea erorii în eroare aleatoare, care nu reprezintă o amenințare atât de mare. Însă aceste variabile determină un comportament mai variabil la participanți. În consecință, devine mai dificil să identificăm efectele variabilei independente asupra variabilei dependente. Această problemă poate fi rezolvată prin diferite proceduri statistice. 

De exemplu, în cazul problemei momentului din zi, transformarea de la eroare sistematică la eroare aleatoare se face prin alocarea aleatoare a momentului testării a participanților. Astfel, putem fi siguri că nu doar o condiție este afectată, în detrimentul celeilalte. 

Variabilele participantului sunt asociate cu caracteristici ale participantului, precum personalitatea sau experiența. Dacă participanții din grupul experimental au experiență cu astfel de studii, iar cei din grupul de control nu. În acest caz, apare o eroare sistematică.  

Pentru a contracara această eroare se folosesc aceiași participanți în ambele condiții. Un design experimental în care aceiași participanți sunt incluși în ambele condiții se numește design cu măsurători repetate. Ca avantaj principal, în acest design este necesar jumătate din numărul de participanți în mod obișnuit.  

Deși eficient, acest design are ca dezavantaj efectul ordinii. Astfel, participantul are șansa de a exersa sarcina de la o etapă la alta. Și această eroare devine eroare confundată. Cea mai potrivită modalitate de a elimina acest efect este contrabalansarea. Astfel, într-un experiment cu două condiții, o parte de participanți vor începe cu condiția 1, iar o parte vor începe cu condiția 2.  

În unele cazuri, precum experimentele care măsoară timpul de reacție la sunet într-un mediu zgomotos, față de un mediu în liniște, fiecare condiție poate fi prezentată de mai multe ori. În acest caz, fiecare prezentare se numește trial. Fiecare trial poate fi contrabalansat. O alternativă preferată pentru a elimina efectul ordinii este randomizarea ordinii de prezentare a trial-urilor pentru fiecare participant.  

O altă problemă care apare în design-ul cu măsurători repetate este introducerea unei noi variabile confundate. De exemplu, în utilizarea problemelor de logică, este imposibil ca seturile de probleme să fie exact  echivalente ca dificultate.  

Există câteva situații în care este recomandat să se folosească design-ul cu măsurători repetate. În primul rând, cu cât sarcina implică un răspuns mai simplu, cu atât este mai probabil ca efectul de ordine să fie mic, dar și să poată fi folosite mai multe trial-uri. În al doilea rând, în unele experimente diferențele individuale au efecte mai mari decât cei din alte experimente. De exemplu, diferențele în timpul de reacție poate fi important într-o sarcină cu un joc de conducere a unui autoturism. În schimb, dacă expunerea la o condiție determină schimbări ireversibile, precum în sarcini de învățare, atunci nu se recomandă expunerea aceleiași persoane și la a doua condiție.  

Să luăm exemplul unei situații în care se recomandă un design cu măsurători repetate. Să spunem că avem ipoteza că oamenii cu trăsături faciale simetrice sunt percepuți ca fiind mai atractivi decât cei cu trăsături faciale asimetrice. Pentru a testa această ipoteză, se poate crea un experiment în care variabila independentă este simetria facială, iar variabila dependentă ar fi nivelul de atractivitate perceput. În această situație, preferințele individuale sunt importante, iar efectul ordinii și alternarea trial-urilor nu ar fi problematice. De asemenea, printr-un design cu măsurători repetate ne asigurăm și că diferențele nu sunt afectate de variabile participant.  

Dacă un design cu măsurători repetate nu este fezabil, un anumit nivel de control poate fi implementat prin potrivirea participanților alocați în cele două grupe pe baza unui pretest al variabilei relevante. Fiecare membru al diadei este asignat randomizat la una din condițiile experimentale. Acest design se numește design cu eșantioane pereche.  

Totuși, acest design nu este mereu practic. Deși potrivirea la nivel de sex sau vârstă este facilă, cea pe baza personalității sau a inteligenței consumă timp și resurse. Mai mult, dacă sunt multiple variabile relevante, procesul de matching devine extrem de dificil.  

Atunci când designul cu măsurători repetate sau cu eșantioane pereche nu sunt potrivite, se poate folosi design-ul cu eșantioane independente. În acest design, participanții sunt alocați randomizat condițiilor variabilei independente.  

Controlul variabilelor negative sistematice ca aspect al design-ului 

Efectele variabilelor negative sistematice sunt o problemă a design-ului și nu pot fi folosite proceduri statistice pentru a o îndepărta. Cea mai bună soluție este eliminarea variabilei confundate sau transformarea sa în variabilă negativă aleatoare.  

Dar dacă facem asta ajungem să avem un cvasi experiment, nu un experiment. Un cvasiexperiment apare atunci când variabila independentă nu este manipulată de cercetător, precum vârsta. O altă caracteristică a unui cvasiexperiment este lipsa alocării randomizate în condiții.  

Trei amenințări pentru validitatea experimentală 

Există trei categorii de amenințări cu privire la validitatea unui experiment – dezirabilitatea socială, caracteristicile sarcinii și expectanțele experimentatorului. Dezirabilitatea socială se referă la măsura în care comportamentul personal pare acceptabil celorlalți. Astfel, oamenii se pot comporta în modalități în care cred că ar trebui să o facă. Dezirabilitatea socială este o problemă mai ales pentru validitatea de construct. O soluție pentru a îndepărta acest aspect este mascarea constructelor studiate. 

O a doua problemă este reprezentată de caracteristicile sarcinii – indicii ale ipotezei experimentale pentru participanți. Această este o problemă importantă pentru validitatea internă, determinând participanții să se comporte în modalități care să confirme ipoteza. Acest pericol poate fi redus prin prezentarea unui alt scop participanților.  

Expectanțele se referă la tendința cercetătorului de a construi un experiment astfel încât să îi susțină ipoteza, amenințând validitatea internă. Această problemă poate fi evitată prin folosirea procedurii dublu – orb, în care nici participanții și experimentatorul nu știu care este ipoteza.  

Validitatea externă 

Validitatea externă reprezintă măsura în care relația dintre variabilele observate de cercetător poate fi generalizată la diferite contexte sau diferite persoane. Controlul multiplelor variabile confundate reprezintă o problemă pentru validitatea externă a experimentelor.  

Validitatea externă poate fi împărțită în validitate ecologică, validitate a populației și validitate temporală. Validitatea ecologică reprezintă măsura în care cercetările pot fi generalizate la alte contexte decât cel din laborator.  

Validitatea populației se referă la măsura în care rezultatele pot fi generalizate la persoane care diferă de participanții la experiment. Aceasta este o problemă recurentă, deoarece majoritatea studiilor din psihologie sunt făcute pe studenți. 

Validitatea temporală se referă la generalizarea la anumite perioade. Modul în care oamenii percep realitatea, se comportă sau gândesc se poate schimba de-a lungul istoriei.