การพัฒนาเกณฑ์การประเมินทักษะการนำเสนอและความเที่ยงระหว่างผู้ประเมิน สำหรับรายวิชาทักษะการสื่อสารและการนำเสนอเป็นภาษาอังกฤษ (PRESENTATION ASSESSMENT RUBRIC DEVELOPMENT AND INTER-RATER RELIABILITY OF COMMUNICATION AND PRESENTATION SKILLS COURSE)
Abstract
เกณฑ์การประเมินทักษะการนำเสนอสำหรับรายวิชาทักษะการสื่อสารและการนำเสนอเป็นภาษาอังกฤษ (Communication and Presentation Skills: CPS) ถูกพัฒนาขึ้นโดยอาจารย์ผู้สอนในรายวิชาโดยพิจารณาจากเนื้อหาที่สอนในบทเรียนเกี่ยวกับทักษะการนำเสนอและจากประสบการณ์ของอาจารย์ (Intuitively-Based Method) การทบทวนและปรับปรุงเกณฑ์การประเมินดังกล่าวเกิดขึ้นอย่างต่อเนื่องโดยผ่านการประชุมและลงมติร่วมกันของอาจารย์ผู้สอนในที่ประชุมรายวิชาเมื่อสิ้นภาคการศึกษา ค่าทางสถิติของความเที่ยงระหว่างผู้ประเมิน (Inter-Rater Liability) ที่ใช้เกณฑ์การประเมินนี้ถูกทดสอบโดยใช้ Pearson Product-Moment นอกจากนี้ ความคิดเห็นที่ผู้ประเมินเขียนไว้ในแบบฟอร์มเกณฑ์การประเมินสำหรับคู่ของผู้ประเมินที่มีค่าความเที่ยงต่ำถึงปานกลางยังถูกนำมาวิเคราะห์เพิ่มเติมเพื่อหาปัจจัยที่อาจส่งผลต่อความคิดเห็นที่แตกต่างกันของผู้ประเมิน ทั้งนี้ ผลการทดสอบแสดงให้เห็นว่าค่าความเที่ยงระหว่างผู้ประเมินในรายวิชานี้อยู่ในระดับปานกลางถึงสูง อย่างไรก็ตาม การวิเคราะห์ความคิดเห็นของผู้ประเมินทำให้ทราบถึงปัจจัยที่อาจส่งผลต่อค่าความเที่ยง ได้แก่ รูปแบบการให้คะแนนที่แตกต่างกันของผู้ประเมิน เกณฑ์การประเมินบางด้านที่อาศัยความเห็นของผู้ประเมินเป็นหลัก และความผิดพลาดในการให้คะแนนของตัวผู้ประเมินที่เกิดขึ้น ผู้วิจัยได้อภิปรายผลจากการทดสอบที่พบ ข้อแนะนำในการแก้ปัญหาเพื่อปรับปรุงเกณฑ์การประเมินต่อไป ข้อจำกัดของงานวิจัย และแนวทางงานวิจัยในอนาคต
A presentation rubric used in a Communication and Presentation Skills (CPS) course at a university in Thailand was developed using intuitively-based method by the course teachers based originally on the course content of the presentation unit and the teachers’ experience. It has been revised based on the students’ performances perceived by the teachers through the years. The adjustments made were agreed upon at the course meeting at the end of each semester. Inter-rater reliability values were calculated using Pearson product-moment and written comments from the assessors were reviewed to further investigate factors that contributed to low to moderate correlations. The results showed significant correlations at moderate to high levels among the assessors. The written comments revealed some scoring patterns, existing subjective areas, and human errors that should deserve further discussion. A more detailed descriptor of the rubric and teacher training are needed. Pedagogical implications and further research are also suggested.
คำสำคัญ: เกณฑ์การประเมินทักษะการนำเสนอ การพัฒนาเกณฑ์การประเมิน measurement-driven method intuitively-driven method ความเที่ยงระหว่างผู้ประเมิน ทักษะการสื่อสารและการนำเสนอเป็นภาษาอังกฤษ
Keywords: Presentation Rubric Development, Rating Scale Development, Measurement-Driven Method, Intuitively-Based Method, Inter-Rater Reliability, Communication and Presentation Skills
Downloads
References
[2] Perlman, Carole. (2012). An introduction to assessment performance scoring rubric. In Carol Boston (Ed.), Understanding scoring rubrics: A guide for teachers (pp. 5-13). Retrieved March 5, 2017, from https://eric.ed.gov/?id=ED471518
[3] Turner, Carolyn E. (2013). Rating scales for language tests. In Carol A. Chapelle (Ed.), The encyclopedia of applied linguistics (pp. 1–7). Chichester, West Sussex, UK: Wiley-Blackwell.
[4] Fulcher, Glenn; Davidson, Fred; and Kemp, Jenny. (2011). Effective rating scale development for speaking tests: Performance decision trees. Language Testing. 28(1): 5-29. doi:10.1177/0265532209359514
[5] Sari Luoma. (2004). Assessing Speaking. Cambridge: Cambridge University Press.
[6] Lyle F. Bachman; and Adrian S. Palmer. (1996). Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press.
[7] H. Douglas Brown. (2004). Language assessment: Principles and classroom practices. White Plains, NY: Pearson Longman.
[8] Davis, Larry; and Kondo-Brown, Kimi. (2012). Assessing student language performance: Types and uses of rubrics. In J.D. Brown (Ed.), Developing, using, and analyzing rubrics in language assessment with case studies in Asian and Pacific languages (pp. 33-55). Honolulu: University of Hawai’i, National Foreign Language Resource Center.
[9] Davies, Alan; et. al. (1999). Dictionary of language testing. Cambridge: Cambridge University Press.
[10] David Harrington; and Charles LeBeau. (1996). Speaking of Speech. Tokyo: MacMillan Language house.
[11] James Dean Brown. (2005). Testing in Language Programs: A comprehensive guide to English language assessment. New York: McGraw-Hill.
[12] Nathan T. Carr. (2011). Designing and Analyzing Language Tests. Oxford: Oxford University Press.
[13] Schreiber, Lisa M.; Paul, Gregory. D.; and Shibley, Lisa R. (2012). The Development and Test of the Public Speaking Competence Rubric. Communication Education. 61(3): 205-233.
[14] Mertler, Craig A. (2012). Designing scoring rubric for your classroom. In Carol Boston (Ed.), Understanding scoring rubrics: A guide for teachers (pp. 72-81). Retrieved March 5, 2017,
from https://eric.ed.gov/?id=ED471518
[15] Zhang, Ying; and Elder, Catherine. (2011). Judgments of oral proficiency by non-native and native English speaking teacher raters: Competing or complementary constructs?. Language Testing, 28(1): 31-50.
[16] Davis, Larry. (2016). The influence of training and experience on rater performance in scoring spoken language. Language Testing. 33(1): 117-135. doi:10.1177/0265532215582282
[17] Fulcher, Glenn. (2015). Assessing second language speaking. Language Teaching. 48: 198-216. doi:10.1017/S0261444814000391
[18] Joe, Jilliam; et al. (2015). A prototype public speaking skills assessment: An evaluation of human scoring quality (ETS RR-15-36). ETS Research Report Series. doi:10.1002/ets2.12083
Downloads
Published
How to Cite
Issue
Section
License
Srinakharinwirot Research and Development Journal of Humanities and Social Sciences is licensed Under a Creative Commons Attribution-NonCommercial-NoDerivs 4.0 International (CC-BY-NC-ND 4.0) License, Unless Otherwise Stated. Please Read Journal Policies Page for More Information on Open Access, Copyright and Permissions.
