Izrada testa

Testovi se mogu primjenjivati za provjeru ili samoprovjeru znanja. Ako se testovi primjenjuju za  provjeru znanja (obično kao kolokvij ili pismeni dio provjere znanja), tada je zbog sigurnosti najbolje organizirati rješavanje testova u jednoj od računalnih učionica na Fakultetu uz nadzor nastavnika. Testovi se sastoje od pitanja koja se nalaze u bazi pitanja (više o bazi pitanja).

Kada se test primjenjuje za provjeru znanja (koja će rezultirati ocjenom), pristup testu moguće je ograničiti samo na određene IP-adrese (npr. omogućiti pristup testu samo iz jedne od računalnih učionica), ograničiti datum i vrijeme kada će test biti dostupan te postaviti lozinku za pristup testu (najsigurnije je postaviti kombinaciju svih triju ograničenja).

Kako biste dodali aktivnost Test na svoj e-kolegij, kliknite gore desno na gumb “Uređivanje”.

Kada omogućite uređivanje, ikona će iz sive boje prijeći u ljubičastu.

Potom u sekciji ili temi u koju želite dodati aktivnost Test kliknite na poveznicu “Dodajte aktivnost ili resurs”.

U izborniku kliknite na aktivnost Test. Ako ju ne vidite na početnom zaslonu izbornika, kliknite na karticu Aktivnosti, pronađite ju i odaberite tamo.

Prilikom stvaranja nove aktivnosti Test postavke su organizirane u sekcije: Opće postavke, Vrijeme, Ocjena, Raspored, Karakteristike pitanja, Postavke pregleda testa, Izgled, Safe Exam Browser, Dodatna ograničenja tijekom rješavanja, Sveobuhvatna povratna informacija, Zajedničke postavke modula i Ograniči dostupnost (neke od tih sekcija i postavki koje one sadrže ovdje će biti detaljno opisane, a druge ne).

Video upute kako izraditi aktivnosti Test

Sekcija Opće postavke

Ime: naziv testa kako će ga vidjeti studenti na naslovnici e-kolegija.

Uvod: kratke upute studentima o tome što se od njih očekuje u testu. Napomena: ako postoji vremensko ili datumsko ograničenje to ne upisujete ovdje, već za to postoje polja u nastavku postavki gdje se to zadaje!

Sekcija Vrijeme

Test dostupan od: datum i vrijeme od kojeg će test biti dostupan studentima (moguće je koristiti se kalendarom za odabir datuma – ) – prvo dodati kvačicu lijevo od Omogući na kraju reda!

Test dostupan do: datum i vrijeme do kojeg će test biti dostupan studentima (moguće je koristiti se kalendarom za odabir datuma – ) – prvo dodati kvačicu lijevo od Omogući na kraju reda!

Vremensko ograničenje: raspoloživo vrijeme za rješavanje testa nakon započinjanja (trajanje u sekundama, minutama, danima, tjednima).

Kada vrijeme istekne: određuje što se događa ako student ne preda test prije nego što istekne vrijeme zadano u postavci Vremensko ograničenje (preporuka je da se uvijek ostavi vrijednost Započeti pokušaji rješavanja automatski se predaju). Ostale vrijednosti su Postoji razdoblje naknadne predaje kada se započeti pokušaji mogu predati, ali bez promjene odgovora (koja aktivira dodatnu postavku “Razdoblje naknadne predaje“), te vrijednost Test treba predati prije isteka vremena, inače se neće uvažiti koju nikako nemojte koristiti jer može uzrokovati gubitak podataka iz testova koji nisu predani unutar zadanog roka!

Razdoblje naknadne predaje: ako je u postavci Kada vrijeme istekne odabrana opcija Postoji razdoblje naknadne predaje kada se započeti pokušaji mogu predati, ali bez promjene odgovora, ovo označava dodatno vrijeme u kojem je predaja dopuštena.

Sekcija Ocjena

Kategorija ocjena: Ova postavka određuje kategoriju unutar popisa ocjena u koju će biti smještene ocjene aktivnosti.

Ocjena za prolaz: Ova postavka određuje najmanju ocjenu potrebnu za prolaz. Vrijednost se upotrebljava za prolaz ektivnosti i e-kolegija, te u popisu ocjena gdje su prolazne ocjene istaknute zelenom, a neprolazne crvenom bojom.

Dopušteni broj pokušaja: može se odabrati vrijednost od 1 do 10 ili neograničeni broj pokušaja rješavanja testa.

Sekcija Raspored

Nova stranica: postavka za paginaciju testa (zadana je vrijednost da je svako pitanje na zasebnoj stranici); preporuka je da za testove s manjim brojem pitanja zadate vrijednost Nikad, prikaži sva pitanja na jednoj stranici.

Način navigacije: Kada je omogućena sekvencijalna navigacija (odabirom vrijednosti “Sekvencijalno“, student mora proći kroz test u točno određenom redoslijedu i ne može se vratiti na prethodne stranice niti preskakati pitanja. Vrijednost “Slobodno” omogućava slobodnu navigaciju kroz test, uključujući vraćanje na prethodne stranice i preskakanje pitanja.

Sekcija Karakteristike pitanja

Izmiješaj redoslijed odgovora: zadana je (i poželjna) vrijednost Da.

Karakteristike pitanja: Neki od najčešće korištenih oblika su:

Adaptivni način rješavanja testa omogućava studentu višekratno odgovaranje na isto pitanje, čime je studentu omogućeno da iz drugoga ili trećega pokušaja osvoji dio bodova.

Razlika između adaptivnog načina i testa s višestrukim pokušajima odgovaranja na pitanje je u tome što kod adaptivnog testa ne postoji ograničenje koliko puta student može odgovarati na pojedino pitanje. Isto tako, prilikom svakog od tih pokušaja mogu se uključiti kazneni bodovi.

Kod testa s višestrukim pokušajima odgovaranja na pitanje student može odgovarati ovisno o broju savjeta koje je nastavnik upisao. Jednom kad odgovori ispravno ne može više pokušavati odgovoriti na pitanje dok kod adaptivnog ta mogućnost postoji.

Svaki pokušaj rješavanja testa nadograđuje se na prethodni: ako je uključen adaptivni način, onda je moguće zada

Sekcija Postavke pregleda testa

Postavke pregleda testa određuju što student može vidjeti prilikom (kasnijeg) pregleda testa.

• Prilikom rješavanja je opcija korisna samo za neke karakteristike testa, poput ‘višestrukih pokušaja odgovaranja na pitanje’, koji mogu prikazivati povratne informacije prilikom rješavanja.
• Odmah nakon rješavanja označava vrijeme unutar 2 minute nakon što je odabrano “Predajte sve i završite“.
• Kasnije, dok je test još otvoren znači nakon 2 minute, no prije datuma zatvaranja testa.
• Nakon zatvaranja testa znači nakon što je prošao datum zatvaranja testa. Ako test nema datum zatvaranja, ovaj se datum nikad neće dostići i postavke u tom stupcu neće moći biti zadane!

Studentu se putem postavki pregleda testa može omogućiti uvid u:

• Pokušaj rješavanja – Pregled danog odgovora.
• Je li točno – Ova opcija pokriva tekstualne opise ‘Točno’, ‘Djelomično točno’ te ‘Netočno’, te sve oznake u bojama koje prenose iste informacije.
• Bodovi – Brojčane oznake za svako pitanje, i broj ukupnih bodova za pokušaj.
• Specifična povratna informacija – Povratna informacija koja ovisi o studentovom odgovoru.
• Općenita povratna informacija – Prikazuje se nakon što je student odgovorio na pitanje. Za razliku od specifične povratne informacije, koja ovisi o vrsti pitanja i odgovoru studenta, općenita povratna informacija je ista za sve studente. Općenitu povratnu informaciju možete koristiti za cjelovito objašnjavanje odgovora, možda uz poveznicu na više informacija o gradivu.
• Ispravan odgovor – Automatski generirani sažetak točnog odgovora. Ovo može biti dosta ograničeno, pa razmislite o objašnjavanju točnog odgovora pomoću općenite povratne informacije za pitanje, umjesto korištenja ove opcije.
• Sveobuhvatna povratna informacija – Povratna informacija nakon rješavanja, koja ovisi o ukupnoj ocjeni testa.

Sekcija Izgled

Prikaži sliku studenta: ime i slika studenta prikazat će se na zaslonu pri rješavanju testa, kao i pri pregledu rezultata. To nastavniku olakšava provjeru identiteta prijavljenoga studenta prilikom rješavanja testa u učionici.

Sekcija Safe Exam Browser

Zahtijevaj korištenje Safe Exam Browser: Ako je omogućeno, studenti mogu pristupiti testu isključivo korištenjem Safe Exam Browser. Dostupne opcije su:

• NE – Safe Exam Browser nije obavezan za pristup testu.
• DA – podesi postavke ručno – Ne koristi se postojeći predložak postavki za Safe Exam Browser. Trebate ručno podesiti postavke za Safe Exam Browser.
• DA – koristi postojeći predložak – Može se koristiti postojeći predložak postavki za Safe Exam Browser. Predlošcima se upravlja na razini sustava (mora ih podesiti administrator). Vaše ručno podešene postavke prepisuju postavke u predlošku.
• DA – prenesi moje postavke s računala – Možete prenijeti vlastite postavke s vašeg računala. Sve ručno podešene postavke na sustavu i korištenje predložaka će biti onemogućene.
• DA – koristi SEB klijentske postavke – Ne postoje postavke za Safe Exam Browser na strani sustava. Testu je moguće pristupiti s bilo kojim postavkama za Safe Exam Browser.

Sekcija Dodatna ograničenja prilikom rješavanja

Lozinka za pristup testu: jednostavna lozinka koja se daje studentima neposredno prije rješavanja testa.

Ograniči pristup samo ovim IP-adresama: moguće je ograničiti pristup testu samo iz jedne od računalnih učionica na FFZG (IP-adrese pojedinih računalnih učionica moguće je saznati od administratora putem e-pošte na cpeu@ffzg.hr).

Zaštićen prozor web preglednika: Ako je odabrana vrijednost “Prozor preko cijelog ekrana s dijelom JavaScript sigurnosnih postavki“:

• test će se pokrenuti samo ako student ima web preglednik s omogućenom podrškom za JavaScript
• test će se pojaviti u novom prozoru preko cijelog ekrana i bez gumba za navigaciju
• studente će se spriječiti, koliko je moguće, od kopiranja i lijepljenja sadržaja

Zadana vrijednost je “Nema“.

Dopusti offline pokušaj rješavanja testa pomoću mobilne aplikacije: Ako je omogućeno, korisnik mobilne aplikacije može preuzeti test na uređaj i pokušati ga riješiti offline.
Napomena: Nije moguće riješiti test offline ako je za isti zadano vremensko ograničenje ili ako ima ograničenje pristupa (IP adresa). Zadana vrijednost je “Ne“.

Sekcija Sveobuhvatna povratna informacija

Omogućuje zadavanje povratne informacije koja se prikazuje nakon rješavanja testa. Ovisno o dodatnim granicama ocjena (poput postotka ili broja) studentima će se prikazati različit tekst.

Sekcija Zajedničke postavke modula

Sve aktivnosti i resursi u postavkama imaju ovu sekciju, u kojoj je moguće urediti vidljivost aktivnosti / resursa studentima, ID broj aktivnosti / resursa te, ako aktivnost to podržava, postavke za grupni oblik nastave.

Dostupnost: moguće je zadati da se aktivnost / resurs ne prikazuje studentima (vrijednost “Skrij od studenata“). Zadana vrijednost je “Prikaži na naslovnici e-kolegija“.

ID broj: Postavljanje ID broja omogućava identifikaciju aktivnosti u svrhu računanja ocjena. Ako aktivnost nije obuhvaćena nekim oblikom ocjenjivanja, polje koje sadržava ID broj se može ostaviti praznim. ID se također može postaviti u alatu za ocjenjivanje, no može se uređivati jedino na stranici s postavkama određene aktivnosti. Zadano je ostavljeno prazno (bez vrijednosti).

Grupni oblik: Ova postavka ima 3 opcije:

• Bez grupa – Nema pod-grupa.
• Odvojene grupe – Svaki član grupe može vidjeti samo članove svoje grupe, ostali članovi su nevidljivi.
• Vidljive grupe – Svaki član grupe vidi članove svoje grupe, ali može vidjeti i članove drugih grupa.

Grupni način rada koji je zadan na razini e-kolegija je tada zadani način rada i za sve aktivnosti na tom e-kolegiju. Za svaku aktivnost koja podržava grupe također može se podesiti vlastiti grupni način rada, iako je isti zanemaren, tj. nadjačan od strane postavke na razini e-kolegija.

Sekcija Ograniči dostupnost

Dovršenost aktivnosti: Zahtijeva od studenta dovršetak (ili ne-dovršetak) druge aktivnosti.

Datum: Ograničenje dostupnosti do (ili od) zadanog datuma i vremena. Ako želite ograničiti dostupnost i OD i DO zadanog datuma i vremena, morate postaviti 2 odvojena uvjeta (od kada u jednom uvjetu i do kada u drugome). Napomena vezana uz vrijeme: pripazite, ako ste zadali da je nešto dostupno do 01.05.2020. u 00:00, tada je to dostupno do 30.04.2020. u 23:59, a ne cijeli dan do ponoći 01.05.2020.!

Ocjena: Ograničenje prema ostvarenoj ocjeni na nekoj drugoj, prethodno dovršenoj aktivnosti (uvjet može biti viša ili niža ocjena).

Korisnički profil: Ograničenje prema vrijednostima u poljima korisničkog profila pojedinog korisnika (npr. na osnovu adrese e-pošte korisnika).

Skup ograničenja: Skup prethodno opisanih ograničenja, ali ulančanih uz primjenu složene logike.

Sekcija Dovršenost aktivnosti

Ako je omogućeno, prati se dovršenost aktivnosti, bilo ručno ili automatski, ovisno o određenim uvjetima. Mogu se zadati višestruki uvjeti, ovisno o potrebama. Ako postavite višestruke uvjete, tada se aktivnost smatra dovršenom samo kada su postignuti SVI uvjeti.

Kvačica kraj imena aktivnosti na naslovnici e-kolegija označava je li neka aktivnost dovršena.

Praćenje dovršenosti:

• Ne prikazuj dovršenost aktivnosti: ikona s informacijom o dovršenosti aktivnosti (kvačica) neće biti prikazana.
• Studenti mogu ručno označiti aktivnost kao dovršenu: studenti mogu kliknuti na ikonu s informacijom o dovršenosti aktivnosti na naslovnici e-kolegija i promijeniti stanje u dovršeno (kvačica). Napomena: u ovom slučaju studenti to mogu napraviti i PRIJE nego odrade svoj zadatak / aktivnost!
• Prikaži ovu aktivnost kao dovršenu nakon ispunjenja uvjeta: studenti moraju ispuniti zadane uvjete (pregled, rješavanje, ocjena) prije nego sustav automatski doda kvačicu na naslovnici e-kolegija.

Ako je u postavkama praćenja dovršenosti odabrano Prikaži ovu aktivnost kao dovršenu nakon ispunjenja uvjeta, ovo su dostupne postavke:

• Zahtijevaj pregled: Kako bi dovršili ovu aktivnost, studenti ju moraju pregledati
• Zahtijevaj ocjenu: Student mora dobiti ocjenu kako bi dovršio ovu aktivnost (ne provjerava se visina ocjene).
• Prikaži kao dovršeno nakon korisnikovog odabira; Kako bi dovršili ovu aktivnost, studenti moraju odabrati odgovor u sklopu aktivnosti.
• Očekuj dovršenje: označiti Omogući na kraju tog retka (staviti kvačicu) i potom unijeti datum i sat do kada se od studenta očekuje dovršetak te aktivnosti.

Korištenjem opcije “Pošalji obavijest sudionicima o promjeni sadržaja” moguće je poslati poruku studentima kod stvaranja nove aktivnosti ili ažuriranja postojeće.

Dodavanje pitanja

Upravo stvoreni test potrebno je pronaći na naslovnici e-kolegija i kliknuti na njega i potom treba kliknuti na gumb Dodaj pitanje ili povenicu Pitanja u izborniku ispod naslova aktivnosti test.

Potom se otvara stranica za uređivanje i dodavanje pitanja u test. Pitanja je moguće dodati klikom na poveznicu Dodaj i potom je moguće odabrati jedan od tri načina:

1. novo pitanje: izrada potpuno novog pitanja u bazi pitanja (ovu opciju ne preporučujemo!)
2. iz baze pitanja: ručni odabir pitanja iz pojedine kategorije u bazi pitanja (napomena: svi studenti tada u testu dobijaju upravo ta pitanja i nema slučajnog odabira pitanja iz baze, možemo reći da svi studenti dobijaju ISTI ispit)
3. pitanje slučajnim odabirom: nastavnik odabire koliko pitanja iz koje od kategorija sustav treba odabrati automatski, slučajnim odabirom (ako u bazi pitanja ima dovoljno pitanja i kategorija u kojima su pitanja organizirana, moguće je da svaki student dobije POTPUNO DRUGAČIJI ispit). Ovu opciju PREPORUČUJEMO!

U svakome se testu mogu kombinirati različite kategorije pitanja. Pitanja se mogu ubacivati slučajnim odabirom sustava ili nastavnik može urediti cijeli test izravnim odabirom i dodavanjem pojedinačnih pitanja.

Svako pitanje nosi određeni broj bodova koje nastavnik odredi. Za ocjenjivanje se primjenjuje skaliranje bodova (povezivanje bodova s ocjenama). Strelicama se mijenja raspored pojavljivanja pitanja u testu.

Nakon što su postavljena pitanja koja će test sadržavati, potrebno je odrediti broj bodova koje pojedino pitanje nosi u tom testu jer se on ne mora slagati s bodovima koji su prethodno zadani. Kod nasumičnog odabira pitanja svim će pitanjima biti dodijeljen po 1 bod. Prema kategoriji, odnosno potkategoriji iz koje je odabrano pitanje nastavnik određuje broj bodova. Ukupna ocjena određuje se u postotku ostvarenih bodova od maksimalnoga broja bodova. U svakome trenutku nastavnik može promijeniti ocjenu ili bodove koje je sustav dodijelio nekom studentu u testu.

Rezultati i analiza testa

Sustav Omega za svaki riješeni test radi automatsku analizu testa i to prema studentima i prema pitanjima. Ta analiza može biti vrlo korisna nastavnicima, osobito za buduće testove.

Odabirom testa i prikaza svih pokušaja rješavanja testa moguće je pregledati analizu uspješnosti svakoga pojedinoga studenta.

Vidljivo je vrijeme koje je studentu bilo potrebno za rješavanje testa, ostvarena ukupna ocjena (broj bodova) kao i broj bodova za svako pojedino pitanje.

Klikom miša na ostvareni broj bodova na pojedinome pitanju pojavit će se odgovor koji je student upisao, tj. odabrao prilikom rješavanja testa.

U izborniku na vrhu stranice, a ispod naziva aktivnosti test, nalazi se poveznica Rezultati (kliknite na nju) te na odabirom mogućnosti Odgovori prikazuje se analiza svakoga pojedinoga pitanja za svakog korisnika. Moguće je pregledati izvještaj za određene studente ovisno o statusu pokušaja rješavanja, primjerice samo studenata koji još uvijek rješavaju test, koji su završili test ili onih koji nikada nisu predali neki test.

Za pitanja vrste Kratki odgovor ili Esej, kod kojih su studenti samostalno upisivali odgovore, prikazani su svi upisani odgovori. Pored svakoga odgovora može se prikazati tekst pitanja i traženi odgovor. Svi stupci mogu se smanjiti i povećati uporabom znaka –, odnosno +, čime se može postići preglednost izvještaja.

Opisani izvještaji mogu se izvesti za što je iz padajućeg izbornika potrebno odabrati željeni oblik podataka u polju Preuzmi podatke iz ove tablice kao, a potom kliknuti na gumb Preuzimanje.

Nastavnik može pregledati i Statistiku rješavanja testa. U tom izvještaju za svako pitanje izračunato je nekoliko indeksa i koeficijenata.

Indeks složenosti pitanja (Facility index (%Correct))

Mjerilo složenosti pitanja dobije se dijeljenjem ukupnoga broja osvojenih bodova i mogućega broja bodova za to pitanje, dakle prosjek bodova za određeno pitanje. Što je postotak veći, veće su šanse da studenti na to pitanje odgovore ispravno.

Standardna devijacija (Standard Deviation)

Standardna devijacija (odstupanje) mjeri razliku između ukupnoga broja danih odgovora. Što više različitih odgovora studenti daju, odstupanje će biti veće, a u slučaju kada bi svi studenti odgovorili jednako, SD bi bio jednak nuli.

Rezultat dobiven pogađanjem odgovora (Random guess score)

Broj bodova koje studenti mogu osvojiti slučajnim pogađanjem odgovora. Ovisi o vrsti pitanja.

Željena težina (Intended question weight)

Kolika je bila željena važnost rezultata tog pitanja u određivanju konačne ocjene testa.

Efektivna (ostvarena) težina (Effective question weight)

Procjena koliko neko pitanje određuje konačnu ocjenu testa.

Razlikovni indeks (Discrimination index)

Razlikovni indeks označava razlike među studentima. Prikazuje odnos između uspjeha na pojedinome pitanju i uspjeha na cijelome testu, a može imati vrijednosti između -100% i 100%. Rezultat od 0 do 100% znači da su studenti koji su dobro odgovorili na to pitanje ujedno imali i dobar uspjeh na testu. Rezultat od -100% do 0 znači da su na to pitanje dobro odgovorili studenti koji su inače loše riješili test. Uglavnom to znači da su studenti pogađali odgovor na to pitanje, a ne da su pokazali stvarno znanje.

Taj indeks uzima u obzir samo gornju i donju trećinu studenata dok razlikovni koeficijent uzima u obzir rezultate svih studenata.

Razlikovni koeficijent (Discriminative efficiency)

Razlikovni koeficijent još je jedna od mjera kako razlikovati lošije i bolje studente. Računa se isto kao i razlikovni indeks, ali za izračun rezultata uzima u obzir sve studente, a ne samo najbolju i najlošiju trećinu studenata.

Nakon uređivanja svih potrebnih postavki testa potrebno je kliknuti na gumb Pohrani i vrati se na stranicu e-kolegija na dnu stranice.