Jak pisać dobre pytania testowe do kursów e-learningowych
8 min czytania Read in English
Test to jedyna część kursu e-learningowego, która dostarcza dowodów. Ukończenie mówi, że ktoś dotarł do końca; test mówi, czy potrafi zrobić to, czego kurs miał nauczyć. Słabe testy zawodzą zwykle z tych samych powodów: pytania pisane na podstawie tekstu, a nie celów, błędne odpowiedzi, których nikt by nie wybrał, informacja zwrotna ograniczona do „Źle” i próg zaliczenia wybrany bez liczenia. Ten poradnik omawia każdy z tych problemów, a na koniec pokazuje, jak wynik trafia na platformę LMS.
Zacznij od celu, nie od tekstu
Każde pytanie powinno prowadzić do konkretnego celu, a czasownik w celu podpowiada, jakie pytanie napisać.
| Cel mówi, że kursant potrafi… | Napisz pytanie, które… | Przykład |
|---|---|---|
| Przypomnieć sobie fakt lub termin | Pyta o niego wprost, najlepiej w kontekście | „Pod jaki numer dzwonisz, gdy zgubisz kartę dostępu?” |
| Rozpoznać przykład | Pokazuje przypadek i pyta, czym jest | „Który z tych maili to próba phishingu?” |
| Zastosować regułę | Opisuje sytuację i pyta, co zrobić | „Klient pyta, jakie dane o nim macie. Co robisz?” |
| Przeanalizować i ocenić | Daje złożony przypadek z kilkoma czynnikami | „Dwa incydenty zgłoszone jednocześnie. Który eskalujesz najpierw i dlaczego?” |
Kursy o procedurach i kursy wdrożeniowe najczęściej potrzebują wiersza „zastosować”. Większość testów powstaje w wierszu „przypomnieć”, bo takie pytania najłatwiej przepisać ze slajdów.
Przed: „Zgodnie z polityką, w ciągu ilu godzin należy zgłosić naruszenie ochrony danych organowi nadzorczemu?”
Po: „Godzinę temu zorientowałeś się, że wysłałeś listę klientów na zły adres. Co robisz teraz?”
Pierwsze pytanie sprawdza liczbę, której pracownik nigdy nie użyje. Drugie sprawdza działanie, którego kurs ma nauczyć: natychmiastowe zgłoszenie wewnętrzne.
Budowa dobrego pytania wyboru
Pytanie ma cztery części: treść, poprawną odpowiedź (klucz), błędne odpowiedzi (dystraktory) i informację zwrotną.
- Treść jest kompletna. Kursant powinien umieć odpowiedzieć, zanim przeczyta odpowiedzi.
- Jedna wyraźnie najlepsza odpowiedź. Jeśli eksperci się o nią spierają, przepisz pytanie.
- Odpowiedzi o podobnej długości i budowie. Klucz, który zawsze jest najdłuższy i najstaranniej sformułowany, szybko zostaje wyłapany.
- Bez „wszystkie powyższe” i „żadna z powyższych”. Nagradzają częściową wiedzę i sztuczki testowe.
- Twierdzące sformułowania. Jeśli musisz użyć przeczenia, wyróżnij NIE.
- Bez ciekawostek. Dokładne daty i numery artykułów rzadko przydają się w pracy.
- Losowa kolejność odpowiedzi, chyba że mają naturalny porządek, np. liczby.
O jakości decydują dystraktory
Dystraktor jest dobry, gdy wybrałby go kursant, który nie opanował celu. Szukaj ich w prawdziwych pomyłkach:
- Zgłoszenia do helpdesku i raporty z incydentów: co ludzie naprawdę zrobili źle.
- Eksperci merytoryczni: „Co nowe osoby zawsze robią źle?”
- Półprawdy: właściwe działanie w niewłaściwym momencie albo dobra zasada zastosowana zbyt szeroko.
- Dobra odpowiedź na inną sytuację: właściwa wobec klienta, niewłaściwa wobec dostawcy.
Przed:
Co zrobić z podejrzanym mailem?
A. Zgłosić go przyciskiem „Zgłoś”. (poprawna) B. Wydrukować go. C. Odpisać, podając swoje hasło. D. Od teraz ignorować wszystkie maile.
Nikt nie wybierze B, C ani D. To pytanie sprawdza czytanie, a nie osąd.
Po:
Mail od „Działu IT” prosi o potwierdzenie hasła przez link. Adres nadawcy kończy się na @it-pomoc-serwis.pl, a twoja firma używa domeny @przyklad.pl. Co robisz?
A. Odpisujesz i pytasz, czy wiadomość jest prawdziwa. B. Otwierasz link, żeby sprawdzić, czy strona wygląda wiarygodnie. C. Zgłaszasz wiadomość przyciskiem „Zgłoś” i ją usuwasz. (poprawna) D. Przesyłasz ją zespołowi jako ostrzeżenie.
Każdy dystraktor to coś, co ludzie naprawdę robią, i każdy jest błędny z konkretnego powodu.
Ile odpowiedzi? Mniej, niż myślisz. Znana metaanaliza Michaela Rodrigueza z 2005 roku, obejmująca 80 lat badań nad pytaniami wyboru, wykazała, że w większości przypadków optymalne są trzy odpowiedzi. Czwarta, której nikt nie wybiera, dodaje tylko czas czytania. Lepsze są trzy dobre odpowiedzi niż cztery z wypełniaczem.
Informacja zwrotna, która uczy
Informacja zwrotna to najtańszy moment nauki w całym kursie. Pisz ją dla każdej odpowiedzi, a nie tylko „Dobrze” i „Źle”:
- A: „Odpowiedź potwierdza, że adres jest aktywny, i trafia do atakującego, a nie do działu IT”.
- B: „Otwarcie linku to właśnie atak. Fałszywe strony logowania często wyglądają identycznie jak prawdziwe”.
- C: „Tak. Zgłoszenie pozwala zespołowi bezpieczeństwa zablokować nadawcę dla wszystkich”.
- D: „Przekazanie dalej rozsyła link jeszcze szerzej. Zgłoś wiadomość, a zespół bezpiecznie ostrzeże wszystkich”.
Zwróć uwagę na formy: „Odpowiedź potwierdza…” zamiast „Potwierdziłeś…”. Neutralne sformułowania oszczędzają ukośników w rodzaju „zrobiłeś/aś” i brzmią lepiej.
W pytaniach ćwiczeniowych pokazuj informację zwrotną od razu. W teście końcowym wielu autorów pokazuje wyniki dopiero po zatwierdzeniu całości, żeby odpowiedzi nie krążyły pytanie po pytaniu.
Typy pytań i kiedy ich używać
| Typ | Dobrze mierzy | Uważaj na | Typ interakcji SCORM |
|---|---|---|---|
| Jednokrotny wybór | Decyzje, rozpoznanie właściwego działania | Słabe dystraktory | choice |
| Wielokrotny wybór | Znajomość wszystkich elementów zbioru | Zdecyduj: wszystko albo nic czy punkty cząstkowe, i napisz, ile zaznaczyć | choice |
| Prawda/fałsz | Konkretny mit lub błędne przekonanie | 50% szans przy zgadywaniu; dwuznaczne stwierdzenia | true-false |
| Dopasowywanie | Związki: pojęcie–definicja, objaw–działanie | Przy równych listach ostatnia para jest za darmo; dodaj jedną opcję nadmiarową | matching |
| Układanie kolejności | Procedury i sekwencje | Jedna zamiana kroków oznacza całą odpowiedź jako błędną | sequencing |
| Uzupełnianie luk | Dokładne terminy i wartości | Warianty pisowni, wielkość liter, polskie znaki | fill-in |
| Liczbowe | Obliczenia | Zaokrąglenia; akceptuj zakres | numeric |
| Scenariusz z rozgałęzieniami | Osąd w kilku krokach | Pracochłonność; zakończenia muszą coś znaczyć | Zależy od narzędzia |
Zgadywanie: rachunek stojący za typami pytań
Typ pytań zmienia to, jak łatwo zaliczyć test przypadkiem. Przy teście z 10 pytań rozwiązywanym czystym zgadywaniem szansa na osiągnięcie progu wynosi:
| Format | Próg 70% | Próg 80% |
|---|---|---|
| Prawda/fałsz (2 odpowiedzi) | 17% | 5,5% |
| 3 odpowiedzi | 2% | 0,3% |
| 4 odpowiedzi | 0,4% | 0,04% |
Wynika to z rozkładu dwumianowego: np. co najmniej 7 z 10 trafień przy pytaniach prawda/fałsz to 176 z 1024 jednakowo prawdopodobnych wyników. Wniosek: pytania prawda/fałsz nie powinny dominować w teście z oceną, a pytania z trzema odpowiedziami już są bardzo trudne do zaliczenia na ślepo.
Wybór progu zaliczenia
Próg musi mieć sens przy danej liczbie pytań, bo w krótkim teście każde pytanie to duży skok.
| Pytań | Dozwolone pomyłki przy 70% | przy 80% | przy 90% |
|---|---|---|---|
| 5 | 1 | 1 | 0 |
| 8 | 2 | 1 | 0 |
| 10 | 3 | 2 | 1 |
| 12 | 3 | 2 | 1 |
| 20 | 6 | 4 | 2 |
Przy pięciu pytaniach progi 70% i 80% dają ten sam test, a 90% oznacza komplet. Jeśli różnica ma znaczenie, dodaj pytania. Poza tym:
- Jedna wartość wszędzie. Próg w kursie i w manifeście (
adlcp:masteryscorew SCORM 1.2,imsss:minNormalizedMeasurew SCORM 2004) musi być taki sam, inaczej kursant widzi „Zaliczony”, a raport pokazuje „Niezaliczony”. - Zdecyduj o poprawkach. Kolejne podejścia z informacją zwrotną zamieniają test w ćwiczenie; pozwalaj na nie, ale losuj pytania z większej puli albo mieszaj kolejność, żeby kursanci nie zapamiętywali liter.
Jak wynik i odpowiedzi trafiają na platformę LMS
Kurs raportuje wynik przez API SCORM. W SCORM 2004 test z oceną zwykle wysyła jedną interakcję na pytanie, a potem wynik:
api.SetValue("cmi.interactions.0.id", "q3-nadawca");
api.SetValue("cmi.interactions.0.type", "choice");
api.SetValue("cmi.interactions.0.description", "Który adres nadawcy jest podejrzany?");
api.SetValue("cmi.interactions.0.correct_responses.0.pattern", "c");
api.SetValue("cmi.interactions.0.learner_response", "b");
api.SetValue("cmi.interactions.0.result", "incorrect");
// …po ostatnim pytaniu
api.SetValue("cmi.score.raw", "8");
api.SetValue("cmi.score.min", "0");
api.SetValue("cmi.score.max", "10");
api.SetValue("cmi.score.scaled", "0.8");
api.SetValue("cmi.success_status", "passed");
api.Commit("");
Liczą się trzy szczegóły:
- Kolejność. Najpierw
id, potemtype, a dopiero potem odpowiedzi; inaczej SCORM 2004 zwraca błąd 408 („Data Model Dependency Not Established”). - Stałe identyfikatory.
q3-nadawcazostaje takie samo we wszystkich wersjach i językach, więc raport interakcji na platformie da się porównywać. Same numery, które przesuwają się po wstawieniu pytania, czynią raporty bezużytecznymi. - Scaled od 0 do 1.
0.8, a nie80, i to z kropką, nie z przecinkiem. W SCORM 1.2 wyślijcmi.core.score.rawz min i max i ustawcmi.core.lesson_statusnapassedalbofailed.
Jak czytać powstałe w ten sposób raporty interakcji, które są najlepszym źródłem wiedzy o tym, co poprawić w samych pytaniach, opisuje artykuł Co platforma LMS zapisuje z kursu SCORM.
Lista kontrolna przed publikacją
- Każde pytanie odpowiada celowi, a każdy cel ma co najmniej jedno pytanie
- Większość pytań opisuje sytuację i wymaga decyzji
- Każdy dystraktor to prawdziwa pomyłka z własną informacją zwrotną
- Odpowiedzi mają podobną długość; nie ma „wszystkie powyższe”
- Ekspert merytoryczny potwierdził każdą poprawną odpowiedź
- Próg sprawdzony względem liczby pytań, identyczny w kursie i manifeście
- Identyfikatory interakcji są opisowe i stałe
- Test na platformie: zaliczenie, oblanie i odczyt raportu interakcji
Testy w Scormbee
Blok testu w Scormbee obsługuje pytania jednokrotnego i wielokrotnego wyboru z losową kolejnością odpowiedzi, w trybie ćwiczeniowym albo z oceną, a edytor ma też prawda/fałsz, dopasowywanie, uzupełnianie luk, układanie kolejności, sortowanie i scenariusze z rozgałęzieniami. Każda sprawdzona odpowiedź trafia na platformę jako interakcja, a ustawiony próg zaliczenia zapisuje się zarówno w kursie, jak i w manifeście. Asystent AI przygotuje pytania na podstawie treści kursu za 2 kredyty; traktuj jego dystraktory jak pierwszą wersję i zastąp słabe prawdziwymi pomyłkami, które znają twoi eksperci. Możesz to wypróbować w edytorze bez zakładania konta albo zacząć od kursu z biblioteki szablonów.
Najczęstsze pytania
Ile odpowiedzi powinno mieć pytanie jednokrotnego wyboru?
Zwykle wystarczą trzy wiarygodne. Znana metaanaliza Michaela Rodrigueza z 2005 roku, obejmująca 80 lat badań, wykazała, że w większości przypadków trzy odpowiedzi są optymalne. Czwartą warto dodać tylko wtedy, gdy to pomyłka, którą kursanci naprawdę popełniają.
Jaki próg zaliczenia ustawić w teście e-learningowym?
Zależny od konsekwencji błędu i liczby pytań. 80% to częsty wybór w szkoleniach obowiązkowych; przy 10 pytaniach pozwala na dwie pomyłki. Ustaw tę samą wartość w kursie i na platformie LMS.
Czy stosować pytania prawda/fałsz?
Oszczędnie. Przy zgadywaniu każde pytanie daje 50% szans, więc test z oceną zbudowany głównie z takich pytań łatwo zaliczyć przypadkiem. Dobrze sprawdzają się przy obalaniu konkretnego mitu, z wyjaśnieniem w informacji zwrotnej.
Czy informacja zwrotna powinna pokazywać poprawną odpowiedź?
W pytaniach ćwiczeniowych tak, razem z wyjaśnieniem. W teście końcowym wielu autorów pokazuje wyniki dopiero po zatwierdzeniu całości, żeby kursanci nie przekazywali sobie odpowiedzi pytanie po pytaniu. W obu przypadkach wyjaśniaj dlaczego, a nie tylko co.
Jak wynik testu trafia na platformę LMS?
Kurs wysyła go przez API SCORM: cmi.core.score.raw i lesson_status w SCORM 1.2, cmi.score.scaled i success_status w SCORM 2004. Każdą odpowiedź można też wysłać jako interakcję z identyfikatorem pytania, odpowiedzią kursanta i wynikiem.