Title: Pregled rezultata
Course: Napredni rad u sustavu Merlin - Pitanja i testovi > Section: Pregled rezultata

1. Uvod

Sustav Merlin za svaki riješeni test automatski radi analizu cijeloga testa i to analizu prema studentima i analizu prema pitanjima. Ta je analiza vrlo korisna nastavnicima, a posebno za buduće testove.

Nastavnici mogu na temelju analize vidjeti koja pitanja su bila preteška odnosno prelagana studentima te na temelju toga napraviti potrebne dorade za sljedeću verziju testa.

Odabirom testa vidljiv je ukupan broj pokušaja rješavanja testa. S desne strane u bloku Administracija dostupna je detaljnija analiza testa odabirom poveznice Administracija testa->Rezultati:

- Ocjene
- Odgovori
- Statistika
- Ručno ocjenjivanje (po pitanju)
- Ručno ocjenjivanje (po studentu).

2.1. Analiza testa - Ocjene

Odabirom poveznice Rezultati u bloku Administracija -> Administracija testa moguće je vidjeti pregled dosadašnjih pokušaja rješavanja testa te rezultate koji su studenti ostvarili u testu. Ovdje je također vidljivo vrijeme koje je studentu bilo potrebno za rješavanje testa, ostvarena ukupna ocjena (broj bodova) kao i broj bodova za svako pojedino pitanje.

Klikom miša na ostvareni broj bodova na pojedinome pitanju pojavit će se odgovor koji je student upisao, tj. odabrao prilikom rješavanja testa.

Slika prikazuje rezultate ocjena ispita kojega su studenti ostvarili. Student 1 na pitanje 2 ima naračastu oznaku točnosti, što znači da je odgovor djelomično točan te samo dobiva dio bodova za to pitanje. Studentu 3, pitanje 1 nije ocjenjeno. Razlog tome je što prvo pitanje 1 esejsko pitanje i sustav automatski ne ocjenjuje esejska pitanja već njih nastavnik treba ručno ocijeniti. Odabirom poveznice Još nije ocijenjeno ili Zahtijeva ocjenjivanje otvara se pregled odgovora uz mogućnost komentiranja i ocjenjivanje odgovora.

Rezultati analize mogu se prikazati prema različitim kriterijima.

Sekcija Što uključiti u izvještaj:

- Pregled - Omogućava pregled rezultata korisnika na e-kolegiju koji su rješavali test,  pregled rezultata studenata na e-kolegiju koji nisu rješavali test,  pregled rezultata korisnika na e-kolegiju koji jesu ili nisu rješavali test, svih korisnika koji su rješavali test.
- Pokušaj rješavanja - Omogućava pregled rezultata koji su još uvijek u tijeku, pregled rezultata koji kasne, pregled rezultata završenih testova, ili pregled rezultata koji nikad nisu predani. Moguće je uključiti opciju prikaza Prikaži najviše jedan predani pokušaj po korisniku (Najviša ocjena) koji omogućuje prikaz samo jednog rezultata zapisa po studentu.
- Prikaži samo pokušaje - Pregled rezultata koji su ponovno ocijenjeni ili obilježeni da trebaju ponovno ocjenjivanje.

Sekcija Opcije prikaza:

- Broj pokušaja prikazanih na stranici - Ova postavka omogućuje prikaz rezultata zapisa na stranici.
- Prikaži / preuzmi ocjene za svako pitanje - Ova postavka omogućuje prikaz za svako pojedino pitanje da li je točno ili netočno. Ili zbirni prikaz osvojenih bodova.

Akcijom Prikaži izvještaj osvježi prikaz rezultata po postavljenim kriterijima.

Podatke iz tablice rezultati moguće je preuzeti u sljedećim formatima: XLS, ODS, TXT, CSV ili XHTML.

2.2. Analiza testa - Odgovori

Odabirom poveznice Odgovori u bloku Administracija -> Administracija testa moguće je vidjeti odgovore koje su studenti dali na svako pitanje. Moguće je pregledati izvještaj za određene studente ovisno o statusu pokušaja rješavanja, primjerice samo studenata koji još uvijek rješavaju test, koji su završili test ili onih koji nikad nisu predali neki test.

Za pitanja vrste Kratki odgovor ili Esej, kod kojih su studenti samostalno upisivali odgovore, prikazani su svi upisani odgovori. Kod ostalih su prikazani odgovori koje je upisao nastavnik. Pored svakoga odgovora može se prikazati tekst pitanja i traženi odgovor. Svi stupci mogu se smanjiti i povećati uporabom akcija ispod naziva stupaca -, odnosno +, čime se može postići preglednost izvještaja.

Rezultati analize mogu se prikazati prema različitim kriterijima.

Sekcija Što uključiti u izvještaj:

- Pregled - Omogućava pregled rezultata korisnika na e-kolegiju koji su rješavali test,  pregled rezultata korisnika na e-kolegiju koji nisu rješavali test,  pregled rezultata korisnika na e-kolegiju koji jesu ili nisu rješavali test, svih korisnika koji su rješavali test.
- Pokušaj rješavanja - Omogućava pregled rezultata koji su još uvijek u tijeku, pregled rezultata koji kasne, pregled rezultata završenih testova, ili pregled rezultata koji nikad nisu predani. Moguće je uključiiti opciju prikaza Prikaži najviše jedan predani pokušaj po korisniku (Najviša ocjena) koji omogućuje prikaz samo jednog rezultata zapisa po studentu.

Sekcija Opcije prikaza:

- Broj pokušaja prikazanih na stranici - Ova postavka omogućuje prikaz rezultata zapisa na stranici.
- Prikaži - Ova postavka omogućuje prikaz teksta pitanja, odgovora, točnog odgovora.

Akcijom Prikaži izvještaj osvježi prikaz rezultata po postavljenim kriterijima.

Podatke iz tablice rezultati moguće je preuzeti u sljedećim formatima: XLS, ODS, TXT, CSV ili XHTML.

2.3. Analiza testa - Statistika

Odabirom poveznice Statistika u bloku Administracija -> Administracija testa moguće je vidjeti analizu odgovora. Prvi dio izvještaja daje općenitu statistiku cijelog testa, a u drugom je moguće vidjeti podatke i za svako pojedino pitanje.

Opisani izvještaji mogu se izvesti za što je iz padajućeg izbornika potrebno odabrati Spremi podatke iz ove tablice kao željeni oblik, a potom dugme Preuzmi i podaci će se u strukturiranom obliku spremiti u tome obliku.

Koje će se informacije o testu prikazati ovisi o postavkama samog testa.

Na slici su vidlljivi sljedeći statistički pokazatelji:

- Indeks složenosti pitanja (Facility index (%Correct)) - Mjerilo složenosti pitanja dobije se dijeljenjem ukupnoga broja osvojenih bodova i mogućega broja bodova za to pitanje, dakle prosjek bodova za određeno pitanje. Što je postotak veći, pitanje je lakše i veće su šanse da studenti na to pitanje odgovore ispravno.
- Standardna devijacija (Standard Deviation) - Standardna devijacija (odstupanje) mjeri razliku između ukupnoga broja danih odgovora. Što više različitih odgovora studenti daju, odstupanje će biti veće, a u slučaju kada bi svi studenti odgovorili jednako, SD bi bio jednak nuli.
- Rezultat dobiven pogađanjem odgovora (Random guess score) - Broj bodova koje studenti mogu osvojiti slučajnim pogađanjem odgovora. Ovisi o vrsti pitanja.
- Željena težina (Intended question weight) - Kolika je bila željena važnost rezultata tog pitanja u određivanju konačne ocjene testa.
- Efektivna (ostvarena) težina (Effective question weight) - Procjena koliko neko pitanje određuje konačnu ocjenu testa.
- Razlikovni indeks (Discrimination index) - Razlikovni indeks označava razlike među studentima. Prikazuje odnos između uspjeha na pojedinome pitanju i uspjeha na cijelome testu, a može imati vrijednosti između -100% i 100%. Rezultat od 0 do 100% znači da su studenti koji su dobro odgovorili na to pitanje ujedno imali i dobar uspjeh na testu. Rezultat od -100% do 0 znači da su na to pitanje dobro odgovorili studenti koji su inače loše riješili test. Uglavnom to znači da su studenti pogađali odgovor na to pitanje, a ne da su pokazali stvarno znanje. Taj indeks uzima u obzir samo gornju i donju trećinu studenata dok razlikovni koeficijent uzima u obzir rezultate svih studenata.
- Razlikovni koeficijent (Discriminative efficiency) - Razlikovni koeficijent još je jedna od mjera kako razlikovati lošije i bolje studente. Računa se isto kao i razlikovni indeks, ali za izračun rezultata uzima u obzir sve studente, a ne samo najbolju i najlošiju trećinu studenata.

- Srednja ocjena - Treba težiti vrijednostima između 50% i 75%. vrijednosti izvan ovog raspona znak su nastavniku da razmisli o promjenama u testu. Interaktivni test sa više pokušaja uvijek ima nešto viši postotak. Može biti prikazana srednja ocjena prvih pokušaja rješavanja testa ili srednja ocjena svih pokušaja.
- Srednja ocjena u nizu - Polovica studenta ima rezultate manje od ove ocjene

- Standardna devijacija - Mjera raspodjele rezultata oko srednje vrijednosti. Poželjne bi bile vrijednosti između 12% i 18%. Manje vrijednosti od ovih govore da su postignuti rezultati zgusnuti.
- Asimetrija raspodjele rezultata - Mjera za asimetriju raspodjele rezultata. Nula predstavlja savršenu simetričnu raspodjelu u obliku zvona (slika 1), a željeni rezultat bio bi -1.0. Ako je previše negativan (slika 2)indicira nedostatak razlika među studentima koji su bili bolji od prosjeka. Jednako tako previše pozitivan rezultat (slika 3) može ukazivati na nedostatak razlika onih blizu granice prolaznosti.
- Mjera zaobljenosti raspodjele - Ovaj podatak opisuje oštrinu vrha raspodjele rezultata. Uobičajena raspodjela u obliku zvona ima vrijednost zaobljenosti nula . Što je veća vrijednost to je oštriji vrh raspodjele bez prevelikih repova s bilo koje strane. Najbolji su rezultati između 0 i 1. Vrijednost veća od 1 pokazuje da test nije napravio dobru razliku između prosječnih, odličnih i loših studenata.
- Koeficijent interne konzistentnosti - Ovaj koeficijent pokazuje povezanost pitanja u testu. Niske vrijednosti ovog koeficijenta ukazuje na to da pitanja u testu nisu usklađena.
- Odnos pogrešaka - Razlike u ocjenama koje studenti dobiju u testu ovise o znanju studenata o određenoj temi, ali i slučajnostima. Idealno je kada ocjene ovise isključivo o nečijem znanju, a ne i o slučajnim čimbenicima. Ovaj faktor pokazuje koliki dio ocjene ovisi o slučajnim čimbenicima u pojedinom testu.
- Standardna pogreška - Standardna se pogreška dobije iz Odnosa pogreške i Standardne devijacije i mjeri koliko je slučajno odstupanje. Ako standardna pogreška ima vrijednost 10%, a student je riješio 60% testa njegovo je pravo znanje negdje između 50% i 70%.

Napomena:

Pojedine informacije o testu npr. asimetrija raspodjele rezultata ili mjera zaobljenosti raspodjele mogu se izračunati i prikazati tek nakon što je nekoliko studenata riješilo test. Informacije koje govore o međusobnom odnosu pitanja pojavljuju se samo ako u testu ima više od jednog pitanja.

2.4. Ručno ocjenjivanje (po pitanju)

Pomoću ove poveznice je moguće ručno ocijeniti pitanja koja sustav ne može automatski sam ocijeniti npr. esejska pitanja.

Na slici je vidljiv Naziv pitanja te koliko odgovora je potrebno Ocijeniti te broj odgovora koji su Već ocjenjeni.

Moguće je prikazati/sakriti sva pitanja pomoću poveznice Prikaži/Sakrij pitanja koja se automatski ocjenjuju.

Odabirom poveznice ocjena u stupcu Ocijeniti otvara se izbornik za unos komentara i ocjene.

2.5. Ručno ocjenjivanje (po studentu)

Pomoću ove poveznice je moguće ručno ocijeniti pitanja koja sustav ne može automatski sam ocijeniti npr. esejska pitanja za svakog pojedinog studenta.

Na slici je vidljiv broj pokušaja rješavanja te koliko odgovora je potrebno Ocijeniti te broj odgovora koji su Već ocjenjeni po studentu.

Moguće je prikazati/sakriti sva pitanja pomoću poveznice Prikaži/Sakrij pitanja koja se automatski ocjenjuju.

Odabirom poveznice grade/ocjena u stupcu Ocijeniti otvara se izbornik za unos komentara i ocjene.