Ostatnim elementem koncepcji ewaluacji jest opracowanie narzędzi badawczych, przy pomocy których będziemy gromadzić informacje umożliwiające udzielenie odpowiedzi na pytania badawcze. Dane te będziemy pozyskiwać od respondentów, wykorzystując przy tym narzędzia jakościowe (np. scenariusze wywiadów indywidualnych/grupowych) lub ilościowe (kwestionariusze ankiety/wywiadu, w zależności od tego czy badanie będzie realizowane z udziałem ankietera). Poza tym możemy zastosować narzędzia, które służą zbieraniu informacji z innych źródeł, np. dyspozycje do analizy dokumentów lub arkusze obserwacji.
Do opracowania narzędzi przystępujemy wtedy, gdy znamy już przedmiot, zakres oraz cel badania, kryteria i pytania ewaluacyjne, źródła informacji oraz metody badawcze. Tworzenie narzędzi bez tej wiedzy jest dużym błędem. Rozpoczynanie ewaluacji od opracowania ankiety czy scenariusza wywiadu, które powinny bazować na kryteriach i pytaniach ewaluacyjnych, prowadzi do umieszczania w narzędziach pytań „z sufitu”, czyli takich, które akurat przyjdą nam do głowy. Takie postępowanie jest nieprofesjonalne i rodzi wiele problemów. Narzędzia skonstruowane w oderwaniu od celów, kryteriów i pytań ewaluacyjnych nie pozwolą się do nich odnieść. W takich ankietach/scenariuszach może brakować istotnych pytań, zamiast których pojawiają się niepotrzebne kwestie. Narzędzia te często są zdawkowe - nie mając odniesienia do pytań badawczych, nie wiemy o co pytać respondentów - lub nadmiernie rozbudowane, ponieważ zawierają zagadnienia nie związane z pytaniami badawczymi. Ankiety/scenariusze obejmujące zbyt mało pytań uniemożliwią zebranie dostatecznej ilości informacji. Z kolei przeładowanie narzędzi zbędnymi pytaniami rodzi ryzyko pomijania części z nich przez respondentów, udzielania machinalnych odpowiedzi, czy wręcz przerwania badania.
Konstruowanie narzędzi badawczych polega na przełożeniu pytań badawczych na bardziej szczegółowe pytania, które będziemy zadawać respondentom we właściwym dla nich języku. Choć każda ewaluacja jest szyta na miarę, tzn. dostosowana do danego przedsięwzięcia i wymaga opracowania nowych narzędzi (dostosowanych do jej specyficznego przedmiotu, celu oraz pytań badawczych), zasady ich tworzenia są uniwersalne.
Scenariusz wywiadu (indywidualnego/grupowego) jest ramowym spisem zagadnień (ogólnych wątków), które badacz będzie omawiał z respondentem. Może też być listą pytań. Podczas opracowywania scenariusza warto kierować się następującymi zasadami:
- Przejrzysta struktura - w scenariuszu należy wyodrębnić główne zagadnienia (np. w scenariuszu wywiadu indywidualnego z koordynatorem projektu: „doświadczenie zawodowe”, „specyfika grupy docelowej”, „proces realizacji projektu”, „ocena efektów”).
- Pogrupowanie tematyczne pytań – pytania odnoszące się do danego zagadnienia zadajemy w jednym bloku tematycznym (w „pakiecie”). Nie skaczemy chaotycznie z tematu na temat; kolejne zagadnienie wprowadzamy po wyczerpaniu pytań odnoszących się do poprzedniego wątku.
- Właściwa kolejność pytań – na początku umieszczamy pytania wstępne (otwierające), na „rozgrzewkę”, stosunkowo łatwe dla respondenta, aktywizujące go i zachęcające do udziału w badaniu (np. odnoszące się do roli pełnionej w projekcie, udziału w podobnych przedsięwzięciach). Następnie przechodzimy do pytań wprowadzających, które są właściwe dla tematu wywiadu, ale niezbyt trudne. W dalszej kolejności zadajemy pytania zasadnicze, poruszamy coraz bardziej skomplikowane kwestie, umieszczając najtrudniejsze pytania mniej więcej w środku scenariusza. Na jego końcu powinny się znaleźć pytania podsumowujące i zamykające (np. dotyczące oceny omawianych zjawisk, zmian, które mogłyby usprawnić realizację projektu, jego mocnych i słabych stron). Na zakończenie wywiadu warto poprosić respondenta o dodatkowe uwagi, ponieważ może się zdarzyć, że w scenariuszu nie uwzględnimy jakiegoś istotnego zagadnienia.
- Logiczny porządek pytań oraz przejść pomiędzy nimi – kolejne pytania powinny wynikać z poprzednich. Nie wprowadzamy raptownie danego wątku, żeby nie zaskoczyć respondenta i nie wywołać u niego zakłopotania. Jeśli chcemy zupełnie zmienić temat, warto zrobić krótkie wprowadzenie (np. „dotychczas rozmawialiśmy o X, a teraz chciałabym zapytać o Y”, „omówiliśmy kwestię Y, przejdźmy teraz do tematu Z”). Zadając poszczególne pytania, można stosować regułę lejka (zawężania), drążąc omawiane tematy, tj. przechodząc od pytań bardziej ogólnych do konkretnych (np. czy słyszał o przedsięwzięciu X? Z jakimi działaniami w ramach przedsięwzięcia X się spotkał? Jak ocenia każde ze znanych działań?). Z kolei reguła lejka odwróconego (poszerzanie) dobrze się sprawdza w sytuacji, gdy respondent nie ma wyrobionego zdania na dany temat.
- Formułowanie pytań w jasny, precyzyjny i zrozumiały sposób – zadajemy głównie pytania otwarte i pogłębiające daną kwestię, skłaniające do rozbudowanych wypowiedzi.
- Dostosowanie do respondenta - posługujemy się zrozumiałym i właściwym dla niego językiem. Dopasowujemy swój wygląd (np. styl ubioru) i zachowanie do sytuacji osoby badanej.
- Adekwatna liczba pytań – dostosowana do czasu trwania wywiadu. Jeśli przeznaczamy na niego np. 60 minut, nie planujmy zadania 60 pytań, ponieważ z braku czasu będziemy je odczytywać niczym ankieter, zadowalając się zdawkowymi odpowiedziami, bez ich pogłębiania i uszczegółowienia. Takie powierzchowne podejście, charakterystyczne dla metod ilościowych, jest całkowitym zaprzeczeniem idei wywiadów. Szczególnie w przypadku wywiadu grupowego należy bardzo skrupulatnie oszacować czas potrzebny na omówienie poszczególnych tematów i rozpisać go w scenariuszu. Ilość tego czasu powinna odpowiadać zarówno liczbie omawianych wątków, jak i osób, które wezmą udział w badaniu (każda z nich musi mieć możliwość wypowiedzenia się na dany temat).
