https://doi.org/10.59132/mvs/2023/1/2-12
Izvleček
Raziskava izpostavlja različna vprašanja pri vrednotenju preizkusov nacionalnega preverjanja znanja (NPZ)
matematike. Preverili smo veljavnost in učinkovitost preizkusov za standardizacijo in kontrolnih preizkusov
pri ločevanju med natančnimi in manj natančnimi ocenjevalci. Prav tako smo se osredotočili na lastnosti
nalog oziroma postavk, ki se povezujejo z natančnostjo pri vrednotenju preizkusov. Rezultati kažejo, da oba kontrolna mehanizma (standardizacija in vrednotenje kontrolnih preizkusov) razmeroma učinkovito ločujeta natančne ocenjevalce od manj natančnih. Za naloge, ki jih ocenjevalci vrednotijo natančneje, velja, da so povečini zaprtega tipa. Več težav pri vrednotenju ocenjevalcem povzročajo naloge aritmetike in algebre, ki spadajo v rdeče in modro območje ter v območje nad modrim. Tudi naloge, ki vsebujejo dodatna moderirana navodila, ocenjevalci vrednotijo slabše. Ovrednotili smo pomen raziskave in izpostavili nekatere smernice pri oblikovanju postopka vrednotenja preizkusov NPZ v prihodnje.
Abstract
Challenges in Assessing the National Assessment of Knowledge Tests in Mathematics
The following study addresses various issues in assessing the National Assessment of Knowledge (NAK) tests in Mathematics. We examined the validity and efficiency of standardisation and control tests in discriminating between accurate and less accurate assessors. We also focused on the properties of test items associated with assessment accuracy. The results show that both control mechanisms (standardisation and control tests assessment) are relatively effective in discriminating between accurate and less accurate assessors. Closed items are typically more accurately assessed, whereas arithmetic and algebra items, which fall in the red and blue zones and above the blue zone, are more challenging. Items with additional moderated instructions also tend to be more problematic. The article discusses the significance of the study and issues some guidelines for the future design of the assessment process of the NAK tests.