DEVELOPMENT OF COMPUTERIZED ADAPTIVE TESTING PROGRAM FOR MASSIVE OPEN ONLINE COURSES BASED ON MACHINE LEARNING APPROCH
Keywords:
Adaptive Testing Program, Massive Open Online Courses, Machine LearningAbstract
The objectives of this research article were 1) to construct the item bank in the form of computerized adaptive testing, 2) to develop the computerized adaptive testing program for massive open online courses based on a machine learning approach. The survey research was employed in this study. Research method comprised of three phases such as the creation of an item bank, the development of a computerized adaptive testing program, and the evaluation of the program using the Black Box Testing Method. The sample consisted of 400 undergraduate students using purposive sampling. The research tool used in this study included 1) a Content validity checking form, 2) a Computerized adaptive testing program, and 3) the Suitability assessment form of the program. The mean and standard deviation were employed in statistical data analysis. The results found that: 1) Item Bank is a multiple-choice exam. The selected items passed qualifying analysis based on Item Response Theory (IRT) which showed into three parameters as Discriminant values (a), Difficulty values (b), and guessing values. The qualified exam test contained 300 items with reliability values of 0.99. 2) The computerized adaptive testing program had a high level of suitability. It was accepted by the experts and sample group who tried with the program. Therefore, the computerized adaptive testing program can be applied to massive open online courses effectively.
References
ทิพย์ ขำอยู่ และคณะ. (2556). การวินิจฉัยทักษะการอ่านภาษาอังกฤษโดยประยุกต์โมเดลลำดับขั้นคุณลักษณะและการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์. วารสารวิทยาการวิจัยและวิทยาการปัญญา, 10(2), 55-70.
บุญชม ศรีสะอาด. (2553). การวิจัยเบื้องต้น (พิมพ์ครั้งที่ 8). กรุงเทพมหานคร: สุวีริยาสาส์น.
วณิชา พึ่งชมภู และคณะ. (2560). การพัฒนานวัตกรรมทางการศึกษาพยาบาล: การสอนออนไลน์แบบเปิดสำหรับมหาชนในกระบวนวิชาการพยาบาลผู้สูงอายุ. พยาบาลสาร, 44(พิเศษ), 103-110.
สำนักงานคณะกรรมการการอุดมศึกษา. (2561). แผนอุดมศึกษาระยะยาว 20 ปี พ.ศ. 2561-2580. กรุงเทพมหานคร: บริษัท พริกหวานกราฟฟิค จำกัด.
สุชาดา กรเพชรปาณี และคณะ. (2559). การพัฒนาโปรแกรมการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการจัดสอบ O-NET. วิทยาการวิจัยและวิทยาการปัญญา, 14(1), 14-31.
โสฬส สุชานนท์สวัสดิ์ และคณะ. (2556). การพัฒนาวิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้ทฤษฎีการตัดสินใจในการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์. วิทยาการวิจัยและวิทยาการปัญญา, 10(2), 10(2), 71-85.
Atiaja, L. & Proenza, R.(2016).Moocs: Problems and challenges in higher education. In Advances in Education. Teaching & Technology.
Bunderson, V. et. al. (1989). Four generations of computer-based testing. Handbook on educational measurement, 18(9), 114-146.
Chen, T. et al. (2020). Analysis of user satisfaction with online education platforms. In China during the COVID-19 pandemic. Paper presented at the Healthcare.
Davis, L. L. (1992). Instrument review: Getting the most from a panel of experts. Applied nursing research, 5(4), 194-197.
Delgado - Gómez, D. et. al. (2019). Computerized adaptive test and decision trees: A unifying approach. Expert Systems with Applications, 117(1), 358-366.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Maheah. New Jersey: Lawrence Erlbaum Associates, Publishers.
Lu, P. et. al. (2012). The study of item selection method in CAT. Retrieved January 8, 2021, from https://link.springer.com/chapter/10.1007/978-3-642-34289-9_45
Nurakhmetov, D. (2019). Reinforcement Learning Applied to Adaptive Classification Testing. In Theoretical and Practical Advances in Computer-based Educational Measurement (pp. 325-336). Springer, Cham.
Purkayastha, N. & Sinha, M. K. (2016). UNSTOPPABLE STUDY WITH MOOCs DURING COVID 19 PANDEMIC: A STUDY. Library. Retrieved Jonuary 8, 2021, from https://digitalcommons.unl.edu/libphilprac/4791/?utm_source=digitalcommons.unl.edu%2Flibphilprac%2F4791&utm_medium=PDF&utm_campaign=PDFCoverPages
Ruparelia, N. B. (2010). Software development lifecycle models. ACM SIGSOFT Software Engineering Notes, 35(3), 8-13.
Ueno, M. & Songmuang, P. (2010). Computerized adaptive testing based on decision tree.Retrieved January 10, 2021, from https://www.researchgate.net/publication/221425258_Computerized_Adaptive_Testing_Based_on_Decision_Tree
Urry, V. W. (1977). Tailored testing: A successful application of latent trait theory. Journal of Educational Measurement, 14(2), 181-196.
Weiss, R. S. (1988). Loss and recovery. Journal of Social Issues, 44(3), 37-52.
