Razumijevanje unutarnje i vanjske valjanosti

Unutarnja i vanjska valjanost koncepti su koji odražavaju jesu li rezultati studije pouzdani i smisleni. Dok se interna valjanost odnosi na to koliko se dobro provodi istraživanje (njegova struktura), vanjska valjanost odnosi se na to koliko su nalazi primjenjivi u stvarnom svijetu.

Što je unutarnja valjanost?

Interna valjanost je mjera u kojoj studija uspostavlja pouzdanu uzročno-posljedičnu vezu između liječenja i ishoda. Interna valjanost također odražava da određena studija omogućuje uklanjanje alternativnih objašnjenja za nalaz.

Na primjer, ako provodite program odvikavanja od pušenja sa skupinom pojedinaca, koliko možete biti sigurni da je bilo kakvo poboljšanje primijećeno u liječenoj skupini posljedica liječenja koje ste primijenili?

Interna valjanost u velikoj mjeri ovisi o postupcima studije i koliko se rigorozno provodi.

Interna valjanost nije koncept "da ili ne". Umjesto toga, uzimamo u obzir koliko možemo biti sigurni u nalaze studije, temeljeno na tome izbjegava li zamke zbog kojih bi nalazi mogli biti upitni.

Što je manje šanse za „zbunjivanje“ studije, to je veća interna valjanost i možemo biti sigurniji u nalaze. Zbunjujuće se odnosi na situaciju u kojoj dolaze u obzir drugi čimbenici koji zbunjuju ishod studije. Na primjer, studija bi nas mogla učiniti nesigurnima možemo li vjerovati da smo identificirali gornji scenarij "uzroka i posljedice".

Ukratko, možete biti sigurni da je vaša studija interno valjana samo ako možete isključiti alternativna objašnjenja svojih nalaza. Kao kratki sažetak, možete pretpostaviti uzročno-posljedične posljedice samo ako u svojoj studiji ispunite sljedeća tri kriterija:

• Uzrok je vremenski prethodio posljedici.
• Uzrok i posljedica variraju zajedno.
• Nema drugih vjerojatnih objašnjenja za ovu vezu koja ste primijetili.

Čimbenici koji poboljšavaju unutarnju valjanost

Ako želite poboljšati internu valjanost studije, morat ćete razmotriti aspekte svog istraživačkog dizajna zbog kojih će vjerojatnije biti da možete odbiti alternativne hipoteze. Mnogo je čimbenika koji mogu poboljšati unutarnju valjanost.

• Zasljepljujuće: Sudionici - a ponekad i istraživači - koji nisu svjesni kakvu intervenciju primaju (na primjer upotrebom placeba u studiji o lijekovima) kako bi izbjegli da to znanje unaprijedi njihovu percepciju i ponašanje, a time i ishod studije
• Eksperimentalna manipulacija: Manipuliranje neovisnom varijablom u studiji (na primjer, davanje pušačima programa prestanka pušenja), umjesto samo promatranje udruživanja bez provođenja bilo kakve intervencije (ispitivanje odnosa između vježbanja i ponašanja pušenja)
• Slučajan odabir: Biranje vaših sudionika nasumičnim odabirom ili na način da oni predstavljaju populaciju koju želite proučavati
• Randomizacija: Slučajno raspoređivanje sudionika u skupine za liječenje i kontrolu i osigurava da nema sustavne pristranosti između skupina
• Protokol studije: Slijediti posebne postupke za primjenu liječenja kako ne bi došlo do učinaka, na primjer, drugačijeg postupanja s jednom skupinom ljudi u odnosu na drugu skupinu ljudi

Čimbenici koji prijete unutarnjoj valjanosti

Baš kao što postoji mnogo načina da se osigura da interna valjanost studije postoji, postoji i popis potencijalnih prijetnji unutarnjoj valjanosti koje treba uzeti u obzir prilikom planiranja studije.

• Prijenos: Sudionici koji odustaju ili napuštaju studij, što znači da se rezultati temelje na pristranom uzorku samo ljudi koji nisu odlučili otići (i možda svima koji imaju nešto zajedničko, poput veće motivacije)
• Zbunjujuće: Situacija u kojoj se može smatrati da su promjene u varijabli ishoda proizašle iz neke treće varijable koja je povezana s liječenjem koje ste primijenili.
• Difuzija: Ovo se odnosi na liječenje u studiji koja se širila od tretirane do kontrolne skupine kroz skupine koje su međusobno komunicirale, razgovarale ili promatrale jednu drugu. To također može dovesti do drugog problema koji se naziva ogorčena demoralizacija, u kojem se kontrolna skupina manje trudi jer se osjeća ogorčeno zbog skupine u kojoj se nalazi.
• Pristranost eksperimenta: Eksperimentator koji se ponaša na drugačiji način s različitim skupinama u studiji, što dovodi do utjecaja na rezultate ove studije (i uklanja se zasljepljivanjem)
• Povijesni događaji: Može utjecati na ishod studija koje se javljaju tijekom određenog vremenskog razdoblja, poput promjene političkog vođe ili prirodne katastrofe koja utječe na to kako se sudionici studije osjećaju i djeluju
• Instrumentacija: Moguće je sudionicima u istraživanju na neki način "navesti na prvi pogled" mjere koje koristite, što dovodi do toga da oni reagiraju na drugačiji način nego što bi inače.
• Sazrijevanje: Ovo opisuje utjecaj vremena kao varijable u istraživanju. Ako se istraživanje odvija tijekom vremenskog razdoblja u kojem je moguće da su se sudionici na neki način prirodno promijenili (postarali stariji, umorni), tada može biti nemoguće isključiti jesu li učinci koji su se vidjeli u studiji jednostavno posljedica učinka od vremena.
• Statistička regresija: Prirodni učinak sudionika na krajnjim krajevima mjere koja pada u određenom smjeru samo zbog protoka vremena, a ne zbog učinka intervencije
• Testiranje: Višekratno testiranje sudionika koristeći iste mjere utječe na ishode. Ako nekome date isti test tri puta, nije li vjerojatno da će uspjeti dok nauči test ili se navikne na postupak testiranja tako da odgovori drugačije?

Što je vanjska valjanost?

Vanjska valjanost odnosi se na to koliko se dobro može očekivati ​​da će se rezultat studije primijeniti na druge postavke. Drugim riječima, ova vrsta valjanosti odnosi se na to koliko su uopćeni nalazi. Primjerice, primjenjuju li se nalazi na druge ljude, postavke, situacije i vremenska razdoblja?

Ekološka valjanost, aspekt vanjske valjanosti, odnosi se na to mogu li se nalazi studije generalizirati u stvarni svijet.

Iako rigorozne metode istraživanja mogu osigurati unutarnju valjanost, s druge strane, vanjska valjanost može biti ograničena tim metodama.

Drugi izraz nazvan prenosivost odnosi se na vanjsku valjanost i odnosi se na kvalitativni dizajn istraživanja. Prenosivost se odnosi na to prenose li se rezultati u situacije sa sličnim karakteristikama.

Čimbenici koji poboljšavaju vanjsku valjanost

Što možete učiniti da poboljšate vanjsku valjanost svoje studije?

• Razmislite o psihološkom realizmu: Uvjerite se da sudionici događaje studije doživljavaju kao stvarni događaj tako što ćete im ispričati "naslovnu priču" o cilju studije. Inače, u nekim bi se slučajevima sudionici mogli ponašati drugačije nego u stvarnom životu ako znaju što mogu očekivati ​​ili znaju koji je cilj studije.
• Učinite ponovnu obradu ili kalibraciju: Koristite statističke metode za prilagodbu na probleme povezane s vanjskom valjanošću. Na primjer, ako je studija imala nejednake skupine za neke karakteristike (poput dobi), moglo bi se koristiti ponovno ponderiranje.
• Ponoviti: Ponovno provedite studiju s različitim uzorcima ili u različitim postavkama da biste vidjeli hoćete li dobiti iste rezultate. Kada su provedena mnoga istraživanja, meta-analiza može se koristiti i za utvrđivanje je li učinak neovisne varijable pouzdan (na temelju ispitivanja nalaza velikog broja studija o jednoj temi).
• Pokušajte s terenskim eksperimentima: Provedite studiju izvan laboratorija u prirodnom okruženju.
• Koristite kriterije za uključivanje i isključivanje: Ovo će osigurati da ste u svom istraživanju jasno definirali populaciju koju proučavate.

Čimbenici koji prijete vanjskoj valjanosti

Vanjska valjanost ugrožena je kada studija ne uzima u obzir interakcije varijabli u stvarnom svijetu.

• Učinci prije i poslije testa: Kada je prije ili poslije testa na neki način povezan s učinkom viđenim u studiji, tako da uzročno-posljedična veza nestaje bez dodanih testova
• Primjeri značajki: Kada je neka značajka određenog uzorka odgovorna za učinak (ili djelomično odgovorna), što je dovelo do ograničene generalizacije nalaza
• Pristranost odabira: Smatra se prijetnjom za unutarnju valjanost, pristranost pri odabiru opisuje razlike među skupinama u studiji koje se mogu odnositi na neovisnu varijablu (još jednom, nešto poput motivacije ili spremnosti za sudjelovanje u studiji, a određena demografska kategorija pojedinaca vjerojatnije će sudjelovati u internetskoj anketi).
• Situacijski čimbenici: Vrijeme dana, mjesto, buka, karakteristike istraživača i koliko se mjera koristi mogu utjecati na uopćavanje nalaza.

Unutarnja vs vanjska valjanost

Unutarnja i vanjska valjanost su poput dviju strana iste medalje. Možete imati studij s dobrom internom valjanošću, ali sveukupno to može biti nevažno za stvarni svijet. S druge strane, mogli biste provesti terensku studiju koja je izuzetno bitna za stvarni svijet, ali koja nema pouzdane rezultate u smislu saznanja koje su varijable uzrokovale ishode koje vidite.

Sličnosti

Koje su sličnosti između unutarnje i vanjske valjanosti? Oboje su čimbenici koje treba uzeti u obzir prilikom izrade studije, a oba imaju implikacije u smislu imaju li rezultati studije značenje. Oboje nisu koncepti "ili / ili", pa ćete uvijek odlučivati ​​u kojoj će mjeri vaš studij biti izveden u pogledu obje vrste valjanosti.

Svaki od ovih koncepata obično se navodi u istraživačkom članku objavljenom u znanstvenom časopisu. To je tako da drugi istraživači mogu procijeniti studiju i donijeti odluku o tome jesu li rezultati korisni i valjani.

Razlike

Suštinska razlika između unutarnje i vanjske valjanosti je u tome što se unutarnja valjanost odnosi na strukturu studije i njezine varijable, dok se vanjska valjanost odnosi na to koliko su rezultati univerzalni. Postoje i daljnje razlike između njih.

Interna valjanost

• Zaključci su opravdani

• Upravlja stranim varijablama

• Eliminira alternativna objašnjenja

• Usredotočite se na točnost i snažne metode istraživanja

Vanjska valjanost

• Nalazi se mogu generalizirati

• Ishodi se primjenjuju na praktične situacije

• Rezultati se odnose na svijet u cjelini

• Rezultati se mogu prevesti u drugi kontekst

Interna valjanost usredotočuje se na pokazivanje razlike koja je posljedica samo neovisne varijable, dok se rezultati vanjske valjanosti mogu prevesti u svijet u cjelini.

Primjeri valjanosti

Primjer studije s dobrom unutarnjom valjanošću bio bi ako istraživač pretpostavi da će upotreba određene aplikacije pažljivosti smanjiti negativno raspoloženje. Da bi testirao ovu hipotezu, istraživač nasumično dodjeljuje uzorak sudionika u jednu od dvije skupine: one koji će koristiti aplikaciju tijekom određenog razdoblja i one koji sudjeluju u kontrolnom zadatku.

Istraživač osigurava da ne postoji sustavna pristranost u načinu na koji su sudionici raspoređeni u skupine, a također zasljepljuje svoje istraživačke pomoćnike u skupinama u kojima su studenti tijekom eksperimentiranja.

Koristi se strogi protokol studije koji opisuje postupke studije. Potencijalne zbunjujuće varijable mjere se zajedno s raspoloženjem, poput socioekonomskog statusa sudionika, spola, dobi, između ostalih čimbenika. Ako sudionici odustanu od studije, ispituju se njihove karakteristike kako bi se osiguralo da nema sustavne pristranosti u pogledu toga tko ostaje u studiji.

Primjer studije s dobrom vanjskom valjanošću bio bi u gornjem primjeru, istraživač je također osigurao da studija ima vanjsku valjanost tako što je sudionike koristio aplikaciju kod kuće, a ne u laboratoriju. Istraživač jasno definira populaciju od interesa i odabirom reprezentativnog uzorka te ponavlja studiju za različite tehnološke uređaje.

Riječ iz vrlo dobrog

Postavljanje eksperimenta tako da ima valjanu unutarnju i vanjsku valjanost uključuje od samog početka pažnju o čimbenicima koji mogu utjecati na svaki aspekt vašeg istraživanja.

Najbolje je potrošiti dodatno vrijeme na dizajniranje strukturno zdrave studije koja ima dalekosežne implikacije, umjesto da brzo projurite kroz fazu dizajna da biste kasnije otkrili probleme. Samo kad su visoka i unutarnja i vanjska valjanost, mogu se donijeti snažni zaključci o vašim rezultatima.

Pregled znanstvene metode