ASPEK KESELAMATAN DALAM PENGHASILAN INSTRUMEN PENTAKSIRAN
(Petikan Nota Mesyuarat Keselamatan dan Peningkatan Profesionalisma Pegawai/Kakitangan SPPU 24/5/04-28/5/04)
Pemasangan Item
Proses penyusunan item-item mengikut jadual spesifikasi ujian yang piawai untuk membentuk draf akhir kertas soalan.
PIAWAIAN PERSONEL
1. Mempunyai pengetahuan dan pemahaman tentang penilaian item berkualiti
2. Mempunyai pengetahuan dan pemahaman tentang Jadual Spesifikasi Ujian yang akan digunakan
3. Mempunyai pengetahuan dan pemahaman tentang format kertas soalan yang perlu diikuti semasa
pemasangan kertas soalan
PIAWAIAN PROSES
1. Menyemak dan memilih item yang akur dengan spesifikasi ujian dari aspek
- kandungan / tajuk / konteks
- konstruk
- statistik item
2. Memastikan statistik ujian mengikut spesifikasi ujian
3. Menyediakan taburan kunci jawapan dan peraturan pemarkahan
4. Menyemak semula kertas soalan dari aspek persembahan fizikal
5. memastikan keselamatan draf kertas soalan pada setiap peringkat pemasangan sentiasa terjamin
mengikut manual keselamatan
PIAWAIAN PRODUK
1. Kertas soalan mengikut format yang telah ditetapkan
2. Kertas soalan mengikut piawaian dari aspek taraf, mutu dan tahap kesukaran
3. Kertas soalan yang menjamin kesahan dan kebolehpercayaan skor
_______________________________________________________________________________________azizi
Pemasangan Kertas Soalan Menggunakan Item Subjektif
Semak dan pilih item yang akur dengan ciri pemasangan spesifikasi ujian (Rujuk Lampiran 1 dan 2)
Pemasangan Kertas Soalan Menggunakan Item Objektif Aneka Pilihan
1. Semak dan pilih item yang akur dengan ciri pemasangan spesifikasi ujian
i) rujuk Lampiran A untuk analisis 10 item
ii) semak dan pilih item dari Lampiran A yang akur dengan Lampiran B
2. Susun item mengikut spesifikasi ujian
3. Tuliskan kod item dalam grid berkenaan
4. Elakkan tindanan item dalam satu grid
5. Pastikan statistik ujian menepati spesifikasi ujian (gunakan Lampiran C dan D)
6. Sediakan taburan kunci jawapan
- gunakan Lampiran A
- semak i ) bilangan bagi satu kunci jawapan bertabur sama rata
ii) kunci jawapan tidak mengikut corak tertentu
7. Isikan Lampiran F untuk dipersembahkan semasa mesyuarat kajian semula
Persembahan Fizikal
Semak semula kertas soalan dalam aspek berikut ;-
1. Semua rajah terang, jelas, relevan dan berfungsi
2. Bahasa dan istilah betul dan konsisten
3. Kertas soalan sesuai dengan tahap calon
4. Kertas soalan sesuai dengan masa yang diperuntukkan
5. Maklumat tertentu seperti rumus atau peggunaan alat tertentu atau arahan-arahan khusus dinyatakan
dengan jelas dan tepat
6. Susunan item menghasilkan keselesaan aliran minda
ASPEK KESELAMATAN DALAM PENGHASILAN INSTRUMEN PENTAKSIRAN
(Petikan Nota Mesyuarat Keselamatan dan Peningkatan Profesionalisma Pegawai/Kakitangan SPPU 24/5/04-28/5/04)
Analisis Item
PIAWAIAN PERSONEL
mempunyai pengetahuan dan pemahaman tentang keperluan dan kepentingan menganalisis item
mempunyai pengetahuan dan pemahaman tentang perkara-perkara yang akan diambil kira semasa menganalisis item
mempunyai pengetahuan dan pemahaman tentang bagaimana hendak menganalisis item
PIAWAIAN PROSES
menyemak keakuran item dengan Spesifikasi Ujian dari aspek
- kandungan/tajuk
- konstruk yang dikur
- Jadual Spesifikasi Ujian
2. menyusun item mengikut kod tertentu
- kandungan/tajuk
- konstruk yang diukur
3. menyemak semula item dari aspek persembahan fizikal
- kejelasan arah
- kejelasan, kecakupan dan kerelevanan maklumat
- pengunaan bahasa dan istilah yang betul
- bias dan sensitiviti
4. memperbaiki atau mengubahsuai item yang tidak berfungsi
PIAWAIAN PRODUK
sekumpulan item yang akur dengan spesifikasi ujian dan sedia untuk pemasangan kertas soalan
_________________________________________________________________________________azizi
Tafsir
Item
Perkara atau alat yang digunakan untuk mendapat evidens yang boleh dipertimbangkan dalam pentaksiran sesuatu konstruk yang hendak diketahui tahapnya/kehadirannya pada seseorang pelajar serta pemberian skornya
Item Pentaksiran
Alat, instrumen atau kaedah untuk mendapatkan evidens tentang penguasaan atau pencapaian pelajar terhadap sesuatu konstruk untuk dibuat pertimbangan
Statistik Item
maklumat tentang tingkah laku item dari segi kesukaran item, keupayaan item, dari segi mendiskriminasi antara pelbagai tahap pencapaian calon yang mengambil ujian dan keberkesanan distraktor pada item berkenaan bagi menarik calon-calon yang tidak menguasai perkara-perkara yang diuji
Analisis Item adalah satu taburan data mengenai respons pelajar-pelajar terhadap item itu.
Fungsi utama analisis item adalah mengawal kesahan dan kebolehpercayaan sesuatu ujian.
Diantara fungsi lain ialah :
1. mengenal pasti item yang mempunyai unsur keraguan (ambigous), salah kunci atau kunci kurang berfungsi,
terlalu mudah, terlalu sukar, berupaya mendiskriminasi kumpualn serdas dengan kumpulan lemah,
mempunyai unsur tekaan (guessing)
2. membaiki item supaya lebih berfungsi dari segi kesahan, kebolehpercayaan dan objektif ujian
3. membina bank item
4. menganggar statistik ujian sebenar
5. menggunakan untuk tujuan proses pengajaran dan pembelajaran, penilaian kurikulum, pemilihan, diagnosis,
pemarkahan dan memperbaiki kemahiran menulis
_____________________________________________________________________________________________azizi
MAKLUMAT ASAS DATA ANALISIS ITEM
1. Indeks Kesukaran
ialah satu indeks pengukuran tentang kesukaran item bagi kumpula yang diuji. Indeks ini menunjukan sama
ada sesuatu item adalah terlalu sukar, sederhana atau terlalu mudah.
Garrett (1959), Sax (1980) dan Brown (1983) menyatakan bahawa satu kesukaran sesuatu item juga
bergantung kepada berapa ramai calon dalam kumpulan yang diuji menjawab dengan betul. Dalam situasi ini,
indeks kesukaran disebut sebagai indeks pilihan apabila ia mewakili perkadaran atau peratus calon dalam
kumpulan yang diuji dapat menjawab sesuatu item dengan betul.
Indeks kesukaran dinyatakan sebagai perkadaran dan julatnya adalah diantara 0 dan 1. Lebih tinggi nilai
indeks, lebih mudah item berkenaan kepada kumpulan yang diuji kerana lebih ramai calon dapat menjawab
dengan betul.
Item yang diprauji adalah dari kumpulan yang berbeza. Skor daripada taburan yang berbeza hanya sah dibandingkan apabila purata dan sisih piawainya adalah sama. Indeks kesukaran bagi item-item yang telah di prauji mesti ditukarkan kepada satu skala linear supaya boleh dibuat perbandingan dan seterusnya digunakan untuk pemasangan satu kertas soalan. Indeks kesukaran item yang digunakan oleh Lembaga Peperiksaan Malaysia ialah satu skala linear, yang dinamakan skala Delta, yang mengunakan sisih min 13 dan sisih lazim 14.
Jadual Lampiran 1 menunjukkan hubungan indeks pilihan dengan indeks kesukaran mengunakan skala delta
Pengunaan skala delta memerlukan andaian bahawa kebolehan (trait) yang diukur itu mempunyai taburan normal
Lampiran 2 mengemukakan pengiraan bagi indeks kesukaran item berbentuk subjektif/esei yang skornya berbentuk selanjar.
Lembaga Peperiksaan Malaysia memberi penilaian keatas nilai-nilai Delta seperti berikut :-
Indeks Kesukaran (Nilai Delta)
Penilaian Item
16.5 Ke Atas
Terlalu sukar , Tidak sesuai digunakan
16.0 - 16.4
Sukar, item boleh diguna dengan syarat diperbaiki dan di prauji semula
15.0 - 15.8
Sukar tetapi boleh terus diguna
12.5 - 14.9
Sederhana dan boleh terus digunakan
10.4 - 12.4
Mudah tetapi boleh terus digunakan
9.8 - 10.3
Mudah, boleh diguna dengan syarat diperbaiki dan diprauji semula
9.6 Ke Bawah
Terlalu mudah, tidak sesuai digunakan
_____________________________________________________________________________________________azizi
2. Indeks Diskriminasi
Thorndike (1955) mendefinisikan indeks diskriminisi sebagai indeks yang menunjukkan keupayaan item itu mendiskriminasi antara kebolehan kumpulan cerdas dengan kumpulan lemah. Sax (1980) mentakrifkan indeks diskriminasi sebagai pekali korelasi yang menghubungkan skor item dengan skor kriterion, amnya skor kriterion merujuk kepada skor ujian.
Lembaga Peperiksaan Malaysia mengunakan korelasi biserial titik (Point Biserial), rpbis, yang menghubungkan antara prestasi berbagai kumpulan terhadap sesuatu item dengan prestasi mereka keatas sesuatu kriterion yang mengukur kebolehan yang sama. Markah keseluruhan ujian dijadikan kriterion. Korelasi ini juga digunakan kerana skor item adalah diotomi dan skor kriterion adalah selanjar. Korelasi ini juga sangat sesuai digunakan kerana sampel praujian dianggap stabil atau setara dengan kumpulan pos-ujian.
Seorang pelajar yang memperolehi yang tinggi didalam sesuatu ujian seharusnya memperolehi skor yang tinggi bagi tiap-tiap item yang dijawab dalam ujian itu. ini bermakna korelasi tesebut tinggi. Dengan itu, item yang mempunyai pekali korelasi (indeks diskriminasi) yang tinggi dikatakan mempunyai keupayaan yang tinggi diskriminasinya.
Kebolehpercayaan merujuk kepada takat perbezaan markat ujian calon yang disebabkan oleh perbezaan sebenar kebolehan calon. Oleh itu, ujian yang kebolehpercayaan tinggi mesti mengandungi item-item yang mempunyai indeks diskriminasi yang positif dan tinggi.
Pengiraan bagi rpbis adalah seperti Lampiran 3
Jadual di bawah menunjukkan pekali korelasi yang sesuai digunakan mengikut bentuk skor item dan skor kriterion.
Pekali Korelasi
Skor Item
Skor Kriterion
Pearson
Selanjar
Selanjar
Point Biserial
Dikotomi Sebenar
Selanjar
Phi
Dikotomi Sebenar
Dikotomi Sebenar
Biserial
Selanjar tetapi ditukar kepada dikotomi
Selanjar
Tetrachoric
Selanjar tetapi ditukar kepada dikotomi
Selanjar tetapi ditukar kepada dikotomi
____________________________________________________________________________________________azizi
Indeks diskriminasi bagi sesuatu item objektif aneka pilihan boleh digunakan membahagi aras prestai pelajar yang diperkenalkan oleh Martuza (1977) dan Sax (1980). Setelah item-item diperiksa, kertas jawapan pelajar disusun mengikut markah secara tertib menaik. Kumpulan (20%-30%) pelajar cerdas dan Kumpulan (20%-30%) pelajar lemah diasingkan.
Dengan menggunakan rumus :
T - R
T - R
D=___________________
atau
D=_______________
1/2 (NT + NR)
NT @ NR
dengan keadaan
T = bilangan pelajar dalam kumpulan cerdas yang menjawab dengan betul
R = bilangan pelajar dalam kumpulan lemah yang menjawab dengan betul
NT = jumlah pelajar dalam kumpulan cerdas
NR = jumlah pelajar dalam kumpulan lemah
Jika semua pelajar dalam kumpulan cerdas dapat menjawab dengan betul dan tidak seorang pun pelajar dalam kumpulan lemah dapat menjawab dengan betul, nilai diskriminasi adalah 1. Jika sebaliknya berlaku, nilai indeks tersebut adalah -1. Jika nilai indeks ), item tersebut tidak berupaya mendiskriminasi antara kumpulan cerdas dengan kumpulan lemah.
Kaedah ini adalah seperti dalam Lampiran 4.
Pekali korelasi (indeks diskriminasi) hasil darab momen Pearson, r , digunakan untuk ujian esei/struktur yang skor item dan jumlah skornya bebentuk selanjar, pengiraan bagi r adalah seperti dalam Lampiran 5.
Ebel (1979), mengariskan beberapa penilaian keatas nilai-nilai indeks diskriminasi seperti berikut :-
Indeks Diskriminasi
Penilaian Item
0.4 Ke Atas
Sangat baik
0.30 - 0.39
Baik tetapi mungkn boleh diperbaiki
0.20 - 0.29
Item ini boleh digunakan dengan syarat diperbaiki
0.19 ke Bawah
Sangat tidak baik, item perlu ditolak atau dikaji semula
_________________________________________________________________________________azizi
MENGANALISIS ITEM
Statistik Ujian
Rajah dibawah menunjukkan contoh satu keratan data statistik ujian
MPV 1974 ANALISIS ITEM BAGI 7000/1 PENGURUSAN ILMU
N = 396 377
MDELTA = 13.492
K = 50
MRPBIS = 0.468
M = 22.624
KR = 20
SD = 11.473
SEM = 3.057
Maklumat yang diperolehi merujuk kepada data tersebut
MPV 1974
Merujuk kepada jenis peperiksaan dan tahun diadakan. Bagi kes ini peperiksaan MPV pada tahun 1974
7000/1
Merujuk kepada nama dan kod matapelajaran
N
Jumlah pelajar yang mengambil ujian
K
Jumlah item dalam ujian
M
Min skor bagi ujian
SD
Sisih lazim bagi ujian
MDELTA
Min Delta bagi ujian, nilai ini mewakili min aras kesukaran bagi ujian
MRPBIS
Singkatan bagi korelasi Mean R Point Biserial
KR20
Singkatan bagi Kudder-Richardson 20, kaedah khas untuk mencari pekali kebolehpercayaan dalaman ujian apabila item-item ujian diberi skor dalam bentuk dikotomus iaitu 1 untuk betul dan 0 untuk salah
SEM
Singkatan bagi Standard Error of Measurement
___________________________________________________________________________________________azizi
STATISTIK ITEM
Contoh menunjukkan satu keratan data statistik item
O
A
B
C
D
P
0.000
*0.408
0.274
0.176
0.142
MCS
4.236
15.382
12.201
10.654
10.115
RPBIS
0.000
0.493
0.712-
0.113-
0.201-
Nota pendek :-
Ruang O tidak perlu baca, O bermaksud omitted
A,B,C dan D bermaksud opsyen (pilihan)
P bermaksud kadaran pelajar yang memilih opsyen
*0.408 menunjukkan 40% daripada calon memilih jawapan A sebagai pilihan jawapan
0.274 menunjukkan 27.4% calon memilih B sebagai pilihan jawapan
0.176 menunjukkan 17.6% calon memilih C sebagai pilihan jawapan
0.142 menunjukkan 14.2% calon memilih D sebagai pilihan jawapan
Jika P < 5, dikatakan soalan terlalu sukar
Jika P > 0.8, dikatakan soalan terlalu mudah
MCS adalah singkatan Mean Criterion Score (Markat Kriteria Min)
Berdasarkan data, markat kriteria min bagi kumpulan calon yang memilih A ialah 15.382 dan adalah paling tinggi berbanding dengan kumpulan calon yang memilih opsyen B,C dan D/ Kumuplan calon yang lemah memilih opsyen D
RPBIS adalah singkatan korelasi R Point Biserial
menunjukkan indeks diskriminasi setiap opsyen. Semakin besar nilai RPBIS, semakin kuat keupayaan opsyen itu mendiskriminasi antara kumpulan calon cerdas dengan kumpulan calon lemah.
Tanda + dan - selepas setiap nilai menunjukkan ciri opsyen. Opsyen yang tidak berdaya mendiskriminasi mempunyai nilai RPBIS menghampiri sifar.
http://mamo60.tripod.com/analisisam.htm
No comments:
Post a Comment