• Strona główna
• Archiwum Biblioteki Wiadomości Statystycznych

Odmowy i inne błędy

Prowadzone pod koniec lat 60. XX w. przez GUS eksperymentalne badania budżetów gospodarstw domowych zwróciły uwagę na wiele kłopotów metodologicznych i organizacyjnych, które skutkowały obniżeniem dokładności wyników badań. Jednym z problemów był wysoki poziom odmów udziału w badaniach przez wylosowane gospodarstwa.

„Nie należy więc często walczyć o podwyższenie liczebności próby, lecz o zmniejszenie procentu odmów i dodatkowe środki finansowe zużyć na ten cel” – pisał Ryszard Zasępa, docent Szkoły Głównej Planowania i Statystyki, w referacie Możliwości zastosowania metody rotacyjnej w badaniach budżetów rodzinnych, opublikowanym w tomie 18 serii Biblioteka Wiadomości Statystycznych pt. Eksperymentalne badania budżetów rodzinnych metodą rotacyjną (s. 120). Zasępa przyglądał się wpływowi błędów losowych i nielosowych na wyniki badań dochodów i wydatków gospodarstw domowych – badań niezwykle ważnych dla uzyskania wiedzy o zmianach społeczno-gospodarczych, ale wiążących się ze znacznymi nakładami pracy i pieniędzy. Tak ważne, ciągłe badanie wymagało odpowiedniego doboru próby, obejmującej wszystkie grupy społeczno-zawodowe ludności (rodziny pracownicze niezwiązane z rolnictwem, rodziny pracujące w PGR-ach i leśnictwie, rodziny rolników indywidualnych, chłoporobotników oraz emerytów i rencistów) z uwzględnieniem różnic ich dochodów. Tymczasem gospodarstwa domowe wylosowane do badania nie były reprezentacją całej populacji.

Losowanie próby do badania przebiegało dwustopniowo. Najpierw losowano uspołecznione zakłady pracy – jak je wtedy określano – w których pracowało powyżej 100 osób, podzielone według działów gospodarki. Następnie spośród załóg wybranych zakładów losowano na podstawie list płac gospodarstwa domowe do badania. Siłą rzeczy więc gospodarstwa domowe, w których nikt nie był zatrudniony w tak dużym zakładzie, nie były objęte badaniem. Stosowanie takiego sposobu doboru próby ułatwiało weryfikację deklarowanych zarobków w miejscu zatrudnienia danej osoby. Spośród wylosowanych gospodarstw domowych odrzucano te, w których ktoś pracował w prywatnym handlu, rzemiośle czy rolnictwie, jak również te, które były położone zbyt daleko (powyżej dwóch godzin podróży komunikacją zbiorową) od wybranych zakładów pracy – ta ostatnia kwestia wynikała ze względów czysto praktycznych: wielogodzinne dojazdy do rodzin objętych badaniem pochłonęłyby gros czasu instruktorów z wojewódzkich urzędów statystycznych. Rozwiązania problemu doboru próby szukano w zmianach metodologicznych, jak chociażby zastosowaniu metody rotacyjnej, czyli losowania co miesiąc innej puli gospodarstw, zamiast metody stałej, zgodnie z którą wylosowane gospodarstwa domowe uczestniczyły w badaniu przez cały rok.

Rozwiązania stosowane wcześniej zapewniały stosunkowo niski poziom błędu względnego dla „przeciętnej” rodziny pracowniczej, a wyższy – w przypadku grupowania wyników według wielkości gospodarstwa domowego, jego lokalizacji lub grupy dochodowej. Zbigniew Samsel z Departamentu Statystyki Budżetów Rodzinnych GUS w tekście Metoda i organizacja badań budżetów rodzinnych w Polsce i za granicą z uwzględnieniem badań eksperymentalnych, pochodzącym z tego samego tomu BWS, komentował: „Celem poprawienia dokładności uzyskiwanych wyników należałoby odpowiednio zwiększyć liczbę badanych budżetów, zwłaszcza że w stosunku do ogółu gospodarstw domowych badamy – w porównaniu z innymi krajami socjalistycznymi – najmniejszą próbkę rodzin” (s. 28).

Zdaniem Samsela dzięki zwiększeniu liczebności próby możliwe stałoby się objęcie badaniem wszystkich grup ludności oraz opracowanie precyzyjnych wyników w podziale na działy gospodarki, województwa, grupy społeczno-zawodowe, grupy dochodowe, wielkość gospodarstwa domowego itd. Natomiast Zasępa wskazywał, że minimalizowanie błędów losowych nie zda się na wiele, jeśli pozostaną znaczne błędy nielosowe. Przyczynami tych ostatnich były zarówno błędne odpowiedzi osób uczestniczących w badaniu, jak i odmowy udziału przez wylosowane gospodarstwa domowe. Błędy odpowiedzi to tak naprawdę niekoniecznie błędy w potocznym rozumieniu; to także świadomie podawane odpowiedzi niezgodne z prawdą, np. w przypadku wydatków na alkohol, co do których można było podejrzewać, że gospodarstwa domowe zaniżały ich wysokość. Z kolei skutkiem odmów były błędy pokrycia; np. kiedy zamożne gospodarstwa domowe rzadziej niż pozostałe wyrażały zgodę na udział w badaniu, reprezentowana przez nie część populacji wymykała się statystykom. Właśnie dlatego podnoszenie liczebności próby było zdaniem Zasępy mniej istotne niż ograniczanie odsetka odmów, które przyczyniały się do wysokiego współczynnika błędu uzyskiwanych wyników. Analogicznie było z błędami odpowiedzi: koncentracja na poziomie błędu standardowego, uwzględniającego tylko błędy losowe, nie zdawała się na wiele, jeśli otrzymywane odpowiedzi odbiegały od prawdy.

Badania eksperymentalne prowadzone przez GUS pod koniec lat 60. wykazały, że zastosowanie metody rotacyjnej (co miesiąc) zamiast metody stałej (co rok) poprawiłoby precyzję doboru próby. A co z błędami odpowiedzi? Zasępa zauważał, że w badaniu rotacyjnym kilka pierwszych i ostatnich dni zawierało mniej danych niż w okresie środkowym – osoby uczestniczące w badaniu, które zobowiązały się wypełniać specjalne książeczki budżetowe i odnotowywać w nich wszystkie dochody i przychody oraz wydatki, na początku i pod koniec badania robiły to mniej wprawnie lub mniej chętnie. Jednak autor obstawał przy tym, że utrzymanie dłuższego czasu rotacji nie zniweluje tych błędów. Wręcz przeciwnie, „z przedłużaniem okresu badania rośnie na ogół zmęczenie osoby prowadzącej książeczkę budżetową” (s. 121). Ponadto można przypuszczać, że w miarę upływu czasu respondenci uczyli się, czego od nich oczekiwali i na co zwracali uwagę instruktorzy. To w połączeniu ze zmęczeniem badaniem mogło powodować, że głowa gospodarstwa domowego, zamiast prowadzić bieżącą rejestrację wszystkich dochodów, przychodów i wydatków, miałaby „zapisywać dane na krótko przed przyjściem inspektora bacząc, by nie popełnić błędów, które mogą być zauważone” (s. 121). Krótszy okres badania mógłby zatem zredukować błędy odpowiedzi.

Z odmowami sprawa była jeszcze prostsza: im dłużej trwało badanie, tym większej liczby odmów należało się spodziewać, czy to już na starcie, czy w trakcie jego przeprowadzania. Przyczyną odmów był zwykle brak zaufania, zwłaszcza w momentach, gdy sytuacja gospodarcza w kraju (np. wzrost cen) lub zakładzie pracy (napięcia i konflikty pracownicze) wzmagały podejrzliwość wobec instruktorów. W eksperymentalnym badaniu dwutygodniowym, prowadzonym przez Zakład Badań Statystyczno-Ekonomicznych GUS, liczba odmów na początku badania wyniosła 19,2%, w eksperymentalnym badaniu miesięcznym ZBSE – 27,5%, a w eksperymentalnym badaniu miesięcznym Departamentu Statystyki Budżetów Rodzinnych GUS – 20%; dla porównania – w standardowym, rocznym badaniu tego departamentu liczba odmów natychmiastowych sięgała 30%. Ponadto im dłużej trwało badanie, tym więcej gospodarstw domowych, które początkowo się zgodziły na udział w nim, rezygnowało w jego trakcie; dobranie na ich miejsce nowych, o podobnym składzie, poprawiało co prawda statystyczną precyzję próby, ale już nie dokładność pomiarów.

Badanie metodą rotacyjną okazało się zatem dokładniejsze niż badanie metodą stałą, stosowane wcześniej w statystyce publicznej. Zmniejszyła się liczba błędów nielosowych, zarówno błędów odpowiedzi, jak i błędów pokrycia. Pozostawał jeden szkopuł. Wyniki badania eksperymentalnego (miesięcznego) i badania rocznego były rozbieżne: prawie wszystkie przychody w badaniu rocznym wyraźnie przewyższały te podane w badaniu miesięcznym. Szczególnie duże rozbieżności dotyczyły dochodów niepieniężnych i dochodów pochodzących ze świadczeń społecznych. Również większość wyników z zakresu wydatków okazała się odmienna, czasem znacznie. Można było więc powątpiewać w prawdziwość odpowiedzi podanych w badaniu rotacyjnym. Samsel wyciągał z tego wniosek, że w badaniu rotacyjnym należałoby ograniczyć szczegółowość klasyfikacji dochodów i wydatków oraz zrezygnować z metody wywiadu w odniesieniu do informacji o wydatkach nieżywnościowych (s. 35).

Zasępa podsuwał inne wyjaśnienie: oprócz stwierdzonej już niedokładności danych w pierwszych i ostatnich dniach badania miesięcznego mogła to być „tendencja w badaniu stabilnym do podwyższania danych o dochodach z uwagi na nastawienie instruktorów, którzy obawiają się raczej pomijania pewnych przychodów niż zawyżania niektórych danych przez badane rodziny” (s. 122). Innymi słowy, gospodarstwa domowe, przyzwyczajone do rocznej współpracy z instruktorami, wolałyby zawyżać swoje deklarowane dochody niż narazić się na podejrzliwość instruktorów tropiących przede wszystkim te kwoty, które mogły zostać nieuwzględnione.

Jakie były przyczyny odmów udziału w badaniu i odmów odpowiedzi w jego trakcie? Jakie dochody i wydatki osoby badane zaniżały, a jakie zawyżały? Czy wynikało to ze zbyt skomplikowanej konstrukcji badania, z nieufności i podejrzliwości, z chęci wpasowania się w oczekiwania instruktorów, a może ze zmęczenia badaniem? Czy samodzielne wypełnianie książeczki budżetowej sprzyjało większej szczerości badanych niż wywiad? A może nastręczało więcej trudności? Co z samymi instruktorami, którzy mieli do obsłużenia dziesiątki gospodarstw rozrzuconych po swoim województwie, w najróżniejszych terminach, które pasowały badanym – jak ich obłożenie zadaniami i poziom zarobków odbijały się na jakości ich pracy? Rezultaty badań eksperymentalnych nie przynosiły jednoznacznych odpowiedzi na te pytania, ale pokazywały, jak ważne dla dalszej praktyki badawczej było ich stawianie.

Xawery Stańczyk

Publikację Eksperymentalne badania budżetów rodzinnych metodą rotacyjną (tom 18 serii monograficznej Biblioteka Wiadomości Statystycznych) można pobrać ze strony https://bws.stat.gov.pl/bws_18_Eksperymentalne_badania_budzetow_rodzinnych_metoda_rotacyjna.

Więcej felietonów o archiwalnych tomach Biblioteki Wiadomości Statystycznych znajduje się pod adresem https://nauka.stat.gov.pl/Archiwum