• Strona główna
• Archiwum Biblioteki Wiadomości Statystycznych

Sztuka stawiania pytań

Wartość prawdziwa w statystyce stanowi coś w rodzaju nieosiągalnego ideału, do którego można się tylko zbliżyć. W przeciwieństwie do niej błąd jest realny i wynika z wielu czynników występujących na każdym etapie badań, a jego uniknięcie wymaga szczególnych umiejętności.

Na barierce nad wodą przysiadły dwie mewy. Ta po prawej usadowiła się na prostej, górnej części metalowej poręczy. Druga mewa przysiadła po lewej stronie, na wygiętej rurce w dolnej części barierki. Wygląda to tak, jakby przyczyną deformacji barierki w miejscu, w którym znajduje się druga mewa, był niezwykły ciężar tego ptaka. Ten obrazek to popularny mem obrazujący różnicę między korelacją a wynikaniem (correlation vs. causation). Szkolny błąd, jakim jest wzięcie współwystępowania zjawisk za porządek przyczynowo-skutkowy, łatwo przedstawić w żartobliwy i skrótowy sposób. Ale tego rodzaju pomyłki pojawiają się dopiero na etapie interpretacji danych pochodzących z badania, albo jeszcze później – podczas prezentacji i omawiania jego wyników. Tymczasem cała wcześniejsza droga najeżona jest potencjalnymi błędami.

Trzeba od razu zaznaczyć, że błąd w statystyce nie musi być czymś złym. Co więcej, jest znacznie pewniejszy niż to, co potocznie zwykło się określać mianem prawdy, ponieważ tak zwana wartość prawdziwa istnieje właściwie czysto teoretycznie. Jak zauważył Jan Kordos w opracowaniu Dokładność danych w badaniach społecznych (tom 35 serii Biblioteka Wiadomości Statystycznych), jest to wartość, „którą otrzymano by, gdyby dane były zebrane i opracowane bez żadnych błędów dla wszystkich jednostek badanej zbiorowości” (s. 18). Dlatego zebrane dane powinny charakteryzować się m.in. dokładnością, czyli zbieżnością z wartością prawdziwą. Ta zaś „jest po prostu wynikiem, który należy w badaniu osiągnąć, gdy przyjęty system pracy realizowany jest poprawnie” (s. 19). Innymi słowy, to, co prawdziwe, jest ideałem wynikającym z całego programu badawczego i w zasadzie nieosiągalnym w rzeczywistości.

Czym wobec tego jest błąd statystyczny? Niczym więcej niż różnicą pomiędzy tym, co wykazało badanie, a wartością prawdziwą, której określeniu służy proces pomiaru, w tym wszystkie procedury badawcze stosowane wobec badanej zbiorowości, przyjęte definicje i klasyfikacje, metody i narzędzia badawcze itd. Jeśli wartość prawdziwa ma znaczenie przede wszystkim operacyjne, jako wartość idealna, do której w praktyce można się zbliżać dzięki doskonaleniu metod pomiaru, to błąd stanowi po prostu różnicę między tym ideałem a wartościami obserwowanymi, czyli faktycznymi rezultatami badania. Stąd np. wzajemne znoszenie się dodatnich i ujemnych błędów indywidualnych powoduje, że wartości globalne nie są obciążone. W tym sensie indywidualny błąd wydaje się bardziej realny niż wartość prawdziwa – abstrakcyjny ideał, którego niemal nigdy nie udaje się osiągnąć.

Błąd można też rozumieć szerzej, jako „rozbieżności między założeniami przyjętymi w badaniu, w odniesieniu do poszczególnych procedur, a ich realizacją w badaniu, pomimo że błędy te nie przyjmują postaci błędów indywidualnych” (s. 20). Ryzyko popełnienia błędów w tym szerokim znaczeniu występuje na każdym etapie badań społecznych, a wpływ na to mają m.in. przedmiot badania, sytuacja społeczno-polityczna, zastosowane metody zbierania danych i procedury statystyczne, osoby prowadzące badanie – od ankieterów po analityków – i okres przeprowadzania badania. Dla zaznaczenia przypadkowości wielu tego rodzaju błędów, wynikających z wylosowania takiej, a nie innej próby lub zatrudnienia takiego, a nie innego zespołu ankieterów albo redaktorów zebranego materiału, używa się pojęcia błędu zmiennego – zależnego od zmieniających się czynników w trakcie badania.

Oprócz błędów losowych, związanych z losowaniem próby mającej reprezentować większą zbiorowość, błędy mogą dotyczyć kompletności materiału – np. pominięcia jakichś jednostek, a kilkukrotnego zbadania innych lub braku odpowiedzi, chociażby wskutek odmowy udziału w badaniu przez respondenta – albo jego treści, kiedy osoba ankietowana celowo udziela błędnej odpowiedzi (np. zapytana o drażliwe kwestie), stosowany kwestionariusz okaże się wadliwy czy też wystąpią pomyłki w kodowaniu i opracowywaniu danych. Co ciekawe, pojawienie się błędów nie musi od razu niweczyć badania, ponieważ błędy statystyczne mają charakter względny. „Wynika to z celu badania, stopnia agregacji danych oraz szczegółowości ich grupowań na danym poziomie agregacji” – pisał Kordos (s. 27). Na przykład jeśli respondent zapytany o swoją pensję poda wartość zaniżoną o kilkaset złotych, ale badanie zakłada zaokrąglanie wyników do tysiąca, to ta niedokładność wcale nie musi stanowić błędu.

W badaniach społecznych, które w znacznej mierze posługują się metodą wywiadu osobistego, błędy mogą wynikać z rozlicznych obaw respondenta, wstydu czy niezrozumienia pytania. Oczywiście to niejedyne źródło; błędy mogą brać się z przyjęcia niewłaściwych założeń badania, wadliwej metodologii, niechlujnego przygotowania kwestionariusza i instrukcji, niewystarczających kwalifikacji ankietera, nieodpowiednich narzędzi badawczych, problemów w symbolizacji, wprowadzaniu i redagowaniu danych, a wreszcie pomyłek w ich analizie i prezentacji oraz wyciągania chybionych wniosków. Katalog potencjalnych błędów jest obszerny, ale nie przypadkiem właśnie kwestii wywiadu Kordos poświęcił w swojej pracy wyjątkowo dużo miejsca.

Ankieter jako osoba obca respondentowi musi z jednej strony stworzyć atmosferę otwartości i zaufania, z drugiej – pozostać neutralny, powstrzymywać się od własnych opinii i jakichkolwiek zachowań, które mogłyby wpłynąć na odpowiedzi badanego. Ważne okazuje się właściwie wszystko, już pierwsze wrażenie może zdeterminować przebieg spotkania. W związku z tym ankieter powinien być ubrany „schludnie, ale nie wyzywająco. Zachowywać powinien się swobodnie, aby łatwiej przełamać «pierwsze lody»” (s. 44). Ważny jest wybór miejsca umożlwiającego rozmowę bez ingerencji innych osób: „Kiedy nie ma odpowiednich warunków, należy delikatnie zaproponować respondentowi prowadzenie rozmowy w innym miejscu” (tamże). Ankieter powinien przejawiać życzliwość i otwartość wobec respondenta, ale już nie wykazywać „zdziwienia, aprobaty lub dezaprobaty” (tamże). Najmniejsza zmiana słów w treści pytania, nawet sposób akcentowania mogą stanowić sugestię dla rozmówcy, która skłoni go do udzielenia błędnej odpowiedzi. „Postawienie pytań w sposób neutralny jest pewnego rodzaju sztuką, którą można zdobyć tylko w czasie praktyki” (tamże).

Szczegółowe zalecenia wymienione zostały obok znacznie bardziej oczywistych, takich jak wylegitymowanie się na początku spotkania, zapewnienie o zachowaniu tajemnicy, trzymanie się kwestionariusza itd. Taka drobiazgowość wskazuje, że Kordos traktował przeprowadzanie wywiadu jako coś więcej niż czynność przebiegającą według wyznaczonego wcześniej schematu: raczej sztukę niż po prostu umiejętność. Na przykład kiedy rozmówca odpowiada: „nie wiem”, ankieter powinien wyczuć, czy chodzi o faktyczny brak wiedzy, czy może wstyd, zakłopotanie lub obawy, które należy przełamać zapewnieniem o poufności wywiadu. Szczególnego rodzaju uważności wymaga sondowanie, czyli zadawanie dodatkowych pytań, kiedy odpowiedzi osoby ankietowanej zdają się niepełne lub niewłaściwe. „Sondowanie jest prawdopodobnie najbardziej kłopotliwą częścią pracy ankietera. Daje również dużo zadowolenia, gdy jako wynik sondowania uzyska się skonkretyzowane odpowiedzi” (s. 46). Opanowanie sztuki prowadzenia tego rodzaju badań przynosi więc specyficzny rodzaj przyjemności ze zrealizowania wywiadu.

Rozpoznanie wywiadu kwestionariuszowego jako sytuacji międzyludzkiej odsłania całą paletę nastrojów, emocji, uprzedzeń i innych uwarunkowań, które mogą wpłynąć na otrzymane odpowiedzi. Jedna osoba zapytana o wysokość zarobków zawyży je ze względu na wstyd związany z ubóstwem, druga – zaniży w obawie przed ujawnieniem faktycznej zamożności. Aby uniknąć tego rodzaju błędów, potrzeba sztuki stawiania pytań, którą można zdobyć tylko poprzez doświadczenie i do której nie wystarczy jedynie przestrzeganie instrukcji.

Xawery Stańczyk

Publikację Jana Kordosa pt. Dokładność danych w badaniach społecznych (tom 35 serii monograficznej Biblioteka Wiadomości Statystycznych) można pobrać ze strony https://bws.stat.gov.pl/bws_35_dokladnosc_danych_w_badaniach_spolecznych.

Więcej felietonów o archiwalnych tomach Biblioteki Wiadomości Statystycznych znajduje się pod adresem https://nauka.stat.gov.pl/Archiwum