Nie zawsze można się ustrzec od pewnych potknięć podczas prowadzenia ewaluacji. Każda z nich uczy nas czegoś nowego i niemal przy każdej napotykamy na różnego rodzaju trudności. Wielu porażkom można jednak zapobiec, nie popełniając następujących błędów:
- brak koncepcji ewaluacji - rozpoczynanie pracy od stworzenia ankiety, bez określenia celu ewaluacji, kryteriów i pytań ewaluacyjnych;
- brak planu ewaluacji – harmonogramu prac i podziału zadań;
- zbyt szeroki zakres ewaluacji w stosunku do założonego czasu realizacji i budżetu;
- niestosowanie triangulacji – uwzględnienie pojedynczego źródła informacji, prowadzenie badania ewaluacyjnego z wykorzystaniem tylko jednej metody/narzędzia badawczego, najczęściej kwestionariusza ankiety;
- niepoprawne sformułowanie/zbyt duża liczba pytań badawczych – np. kilkadziesiąt świadczy o ich nadmiernej szczegółowości (zazwyczaj są to pytania, które powinny się znaleźć w narzędziach badawczych);
- niepoprawnie dobrane kryteria np. niedostosowane do rodzaju ewaluacji, niemożliwe do oszacowania;
- błędy metodologiczne, np. niewłaściwie dobrane metody i próby badawcze, źle zidentyfikowanie źródła informacji;
- niepoprawnie sformułowane pytania w narzędziach badawczych – zgodnie z zasadą „jakie pytanie, taka odpowiedź”, błędy te prowadzą do nierzetelnych wyników;
- błędy w konstruowaniu narzędzi badawczych:
- niewłaściwa liczba pytań – zbyt mała lub za duża (brak możliwości zebrania niezbędnych informacji, bądź „przeładowanie” narzędzia wiążące się z ryzykiem udzielania machinalnych odpowiedzi i zbierania nierzetelnych informacji);
- pytania niedostosowane do respondenta - nieadekwatne jego sytuacji, zakładające posiadanie wiedzy, której nie ma;
- operowanie językiem niezrozumiałym dla respondenta - stosowanie skrótów i terminów, które nie są mu znane;
- pytania nadmiernie długie, wielokrotnie złożone, za trudne - np. o zbyt wysokim poziomie ogólności;
- pytania typu „2 w 1” - o kilka rzeczy naraz, nie wiadomo na które z nich respondent ma odpowiedzieć (np. czy wzrosła Twoja wiedza i umiejętności?);
- powtarzające się pytania lub schematyczny sposób ich zadawania i udzielania odpowiedzi (stosowanie tego samego wzorca w kilku kolejnych pytaniach, zamiast posłużenia się tabelą, zawierającą wspólne kategorie odpowiedzi);
- brak pytań filtrujących - pozwalających omijać pytania nie dotyczące badanego;
- brak jednoznacznej perspektywy czasowej - nie wiadomo do jakiego przedziału czasowego respondent ma się odnieść (np. czy w ostatnim czasie…?);
- stosowanie negacji - nie wiadomo w jaki sposób należy odpowiedzieć na tak postawione pytanie (np. czy jesteś przeciwko…?, czy nie należy…? nie wolałbyś…?);
- pytania niejednoznaczne np. jak oceniasz materiały dydaktyczne? (nie wiadomo jaki aspekt należy ocenić – jakość graficzną czy merytoryczną materiałów);
- pytania sugerujące - skłaniające do udzielania społecznie akceptowanych odpowiedzi (np. czy jesteś za, popieranym przez innych…?);
- niesymetryczna skala zawierająca nierównoważną liczbę wskazań pozytywnych i negatywnych;
- skala o nierównych odległościach pomiędzy poszczególnymi wartościami;
- kafeterie niewyczerpujące możliwych odpowiedzi lub nierozłączne (dana odpowiedź mieści się w więcej niż jednej kategorii).
- realizacja badania w nieodpowiednim czasie – zbyt późno, kiedy już zapadły istotne decyzje, lub za wcześnie (określone działania nie zostały jeszcze podjęte);
- powierzchowna analiza danych, omawianie wyników ilościowych oraz jakościowych bez ich zestawiania i porównywania;
- zliczanie wypowiedzi respondentów FGI/IDI – w przypadku metod jakościowych opinie większej liczby osób nie są istotniejsze od zdania mniejszości; kluczowe jest ich zróżnicowanie;
- nieprawidłowe użycie cytatów – wstawianie do raportu bardzo obszernych fragmentów wywiadów bez ich analizy i interpretacji, lub bardzo krótkich, wyrwanych z kontekstu wypowiedzi w celu udowodnienia jakiejś tezy. Cytaty muszą być powiązane z opisywaną kwestią, stanowić jej ilustrację lub uszczegółowienie. Nie ma też sensu relacjonować stwierdzeń respondentów przy pomocy tych samych słów, które zostały użyte w cytacie, ponieważ nie wnosi to nowych treści;
- niezapewnienie poufności i anonimowości – zamieszczenie w raporcie informacji, które umożliwiają przypisanie danych wypowiedzi konkretnym respondentom;
- niedostatki raportu ewaluacyjnego:
- brak kluczowych informacji na temat koncepcji ewaluacji, kwestii metodologicznych (np. stopnia realizacji prób badawczych, ich reprezentatywności);
- brak omówienia danych zamieszczonych na wykresach i w tabelach;
- podawanie odsetków, zamiast liczebności w przypadku mało licznych prób (w odniesieniu do wyników ilościowych);
- brak interpretacji wyników (wyjaśnienia o czym one świadczą);
- koncentrowanie się na mocnych stronach przedmiotu ewaluacji z pominięciem stron słabszych, wymagających modyfikacji (tworzenie „laurek”) lub wręcz przeciwnie – skupianie się na negatywach, pomijanie pozytywów (tworzenie „wilczych biletów”).
- niepoprawne wnioskowanie lub brak wniosków – brak podsumowania wyników, mylenie ich z wnioskami, formułowanie konkluzji nie wynikających z uzyskanych danych lub opartych na nierzetelnych informacjach (np. przy niskiej stopie zwrotu odpowiedzi), opieranie się podczas wnioskowania na własnym mniemaniu i subiektywnych ocenach, nieuprawnione przypisywanie wynikom reprezentatywności;
- brak rekomendacji lub ich niepoprawne sformułowanie - zbyt ogólne zalecenia, niemożliwe do wdrożenia, nie zaadresowane, nie uzgodnione z adresatami, bez terminu realizacji, mylone z wnioskami;
- niewykorzystanie wyników ewaluacji, niewdrażanie rekomendacji;
- brak zrozumienia, czemu ma służyć ewaluacja.
