DEVELOPMENT OF A UNIVERSITY ENGLISH PROFICIENCY TEST
Keywords:
Test Development, English Proficiency Test, University English Proficiency TestAbstract
Two main objectives of this research were 1) to construct and develop a university English proficiency test to be a standardized one with three specified characteristics: test usefulness was at a specified level, item analysis indexes and reliability were at a specified level, and there was high concurrent validity when compared the scored with a standardized test, and 2) to study the stake holders’ satisfaction towards the test. The sample consisted of 45 Bachelor’s degree students studying in the second semester of 2019 academic year at Thaksin University, Songkhla Campus. Basic statistics, item analysis and reliability coefficients, and Pearson’s product moment correlation coefficients were computed to analyze the data. It was found that:
1) overall, test usefulness of UEPT was at a good level ( = 4.26, S.D. = .175), and Fairness (
= 4.66, S.D. = .491) was rated at the best level, while the other 6 qualities were at the good level: Construct Validity (
= 4.24, S.D. = .121), Impact (
= 4.24, S.D. = .164), Authenticity (
= 4.20, S.D. = .084), Reliability (
= 4.19, S.D. = .143), Interactiveness (
= 4.18, S.D. = .109), and Practicality (
= 4.14, S.D. = .113)
2) 150 objective test items had moderate difficulty index (p = .55), their discrimination was at a good level (r = .49), and the reliability was at a good level (KR20 = .83); 122 test items (81.33%) were collected for future use and 28 items (18.67%) needed improvement or reconstruction. 5 subjective test items also had moderate difficulty index (p = .55), their discrimination was at a good level (r = .38), and the reliability coefficient was at a good level (Cronbach Alpha = .80) and all items were collected.
3) overall, the concurrent validity of UEPT was higher than the set value (rxy = .90) and the concurrent validity of each test section could be put in this order: Writing and Speaking (rxy = .95), Listening (rxy = .93), Reading (rxy = .87), and Language Use (rxy = .76).
4) overall, the stake holders’ satisfaction towards UEPT was at a much satisfied level ( = 4.27, S.D. = 0.770), and the satisfaction towards each part could be put in this order: 1) test usefulness (
= 4.40, S.D. = 0.687), 2) test instructions (
= 4.36, S.D. = 0.708), 3) test administration (
= 4.32, S.D. = 0.842), 4) Scoring (
= 4.25, S.D. = 0.784), 5) test format and arrangement (
= 4.22, S.D. = 0.813), and 6) test content (
= 4.19, S.D. = 0.786).
References
มหาวิทยาลัยทักษิณ. (2559). แผนยุทธศาสตร์การพัฒนามหาวิทยาลัยทักษิณ พ.ศ. 2558 – 2567. สืบค้น 28 พฤษภาคม 2562, จาก http://planning.tsu.ac.th/main/files_sec3/
วราภรณ์ ประจงเศรษฐ์. (2561). การวิเคราะห์ความลำเอียงของข้อสอบ. สืบค้น 15 มกราคม 2562, จาก https://btu6053200011mci.blogspot.com/2018/06/8.html
ศิริพร พงษ์สุรพิพัฒน์, กรองแก้ว กรรณสูต, และสุภาณี ชินวงศ์. (2544). ความตรงร่วมสมัย: การเปรียบเทียบคะแนนสอบแบบทดสอบสมิทธิภาพทั่วไปทางภาษาอังกฤษของจุฬาลงกรณ์มหาวิทยาลัย (CU-TEP) กับคะแนนแบบทดสอบ TOEFL. วารสารภาษาปริทัศน์, 2544(19), 32-48.
สำนักงานคณะกรรมการการศึกษา. (2559). ประกาศคณะกรรมการการอุดมศึกษา เรื่อง นโยบายการยกระดับมาตรฐานภาษาอังกฤษในสถาบันอุดมศึกษา. สืบค้น 28 พฤษภาคม 2562, จาก http:// www.mua.go.th/users/bhes/front_home/Data%20Bhes_ 2559/04052559.pdf
สำนักงานคณะกรรมการการศึกษา. (2561). ประกาศคณะกรรมการการอุดมศึกษากระทรวงศึกษาธิการ เรื่อง การคัดเลือกเข้าร่วมโครงการผลิตครูเพื่อพัฒนาท้องถิ่น ปี พ.ศ. 2561. สืบค้น 28 พฤษภาคม 2562, จาก https://file.job.thai.com/prakad/niets201711 /niets201711_5.pdf
อัจฉรา วงศ์โสธร ,และศิริพร พงษ์สุรพิพัฒน์. (2544). การวิจัยเพื่อพัฒนาข้อทดสอบสมิทธิภาพทั่วไปทางภาษาอังกฤษ. สืบค้น 6 พฤศจิกายน 2557, จาก http://cuir.car.chula.ac.th/ handle/123456 789/757
Arkoudis, Sophie., et.al. (2009). The Impact of English Language Proficiency and Workplace Readiness on the Employment Outcomes of Tertiary International Students. Retrieved September 12, 2014, from https://internationaleducation.gov.au/research/Publications /Documents/ELP_Full_Report.pdf
Arunee Wiriyachitra. (n.d.). English Language Teaching and Learning in Thailand in this Decade. Retrieved September 12, 2014, from http://apecknowledgebank.org/ resources/downloads/English
Bachman, Lyle F. & Palmer, Adrian S. (1996). Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford: Oxford University Press.
Brown, H. Douglas. (2004). Language Assessment: Principles and Classroom Practices. New York: Pearson Education, Inc.
Cambridge English. (2015). Cambridge English First: Information for Candidates. Retrieved December 10, 2018, from https://www.cambridgeenglish.org/br/Images/181310-first-information-for-candidates-2015-document.pdf
Carroll, Brendan J. (1983). Testing Communicative Performance. Great Britain: A Wheaton & Co. Ltd., Exeter.
Chen, Lan. (2009). Assessing the Test Usefulness: A Comparison Between the Old and the New College English Test Band 4 (CET-4) in China. Retrieved April 17, 2019, from http://www.diva-portal.org/smash/get/diva2:228454/FULLTEXT01.pdf
Cheng, Tzung-yu. (2013). Correlating the Gates-MacGinitie Reading Tests with the University Entrance English Examinations Held in Taiwan. Retrieved November 11, 2015, from http://files.eric.ed.gov/fulltext/ED544082.pdf
Cohen, Andrew D. (1994). Assessing Language Ability in the Classroom. Boston, Mass.: Heinle & Heinle Publishers.
Gao, Fen. (2010). What’s Wrong with Current Chinese College English Assessment System? Reform or Not?. International Education Studies, 3(1), 34-37.
Genesee, Fred., & Upshur, John A. (1996). Classroom-Based Evaluation in Second Language Education. Cambridqe: Cambridge University Press.
Heaton, J.B. (1975). Writing English Language Tests. London: Longman.
Ito, Akihiro. (2005). A Validation Study on the English language test in a Japanese Nationwide University Entrance Examination. The Asian EFL Journal. Retrieved February 12, 2016, from http://www.asian-efl-journal.com/June_05_ai.pdf
Jin, Yan. (2011). Fundamental Concerns in High-Stakes Language Testing: The Case of the College English Test. Pan-Pacific Association of Applied Linguistics, 15(2), 71-83.
Jobsdb.com. (2015). 3 เหตุผลที่คนทำงานไม่สนใจภาษาอังกฤษไม่ได้แล้ว. สืบค้น 21 ธันวาคม 2558, จาก http://th.jobsdb.com/th-th/articles/
LCRT Consulting. (2013). MELA Validation Project: Final Report. Retrieved November 11, 2015, from http://www.themela.com/assets/documents/MELAValidationProjectFinal Report 2013.pdf
Madsen, Harold S. (1983). Techniques in Testing. Oxford: Oxford University Press.
Munson, Robin & Parton, Cinda. (2013). Bias and Fairness in State Testing. Retrieved June 10, 2016, from http://www.k12.wa.us/LegisGov/2013documents/BiasAndFairnessIn StateTestingDec2013.pdf
Paltridge, Brian. (2007). Beyond the text: A textography of Chinese College English writing. University of Sydney Papers in TESOL, 2(2), 149-165.
Pan, Yi-Ching. (2009). Test Impact: English Certification Exit Requirements in Taiwan. TEFLIN Journal, 20(2), 120-139.
Riazi, Mehdi. (2014). Research Note; Concurrent and Predictive Validating of Pearson Test of English Academic (PTE Academic). Retrieved: November 11, 2015, from http:// pearsonpte.com/wp-content/uploads/2014/07/Riazi_ M_2014.pdf
The European Association for Quality Language Services. (2009). Calibrating tests to the CEFR: A simplified guide for EAQUALS Members on calibrating entry or progress tests to the CEFR. Retrieved September 12, 2014, from http://clients.squareeye.net/uploads/ eaquals2011/ documents/ EAQUALS_Calibrating_tests_to_the_CEFR.pdf
Weir, Cyril J., Chan, Sathena H. C., & Nakatsuhara, Fumiyo. (2013). Examining the criterion- related validity of the GEPT advanced reading and writing tests: Comparing GEPT with IELTS and real-life academic performance. LTTC-GEPT Research Reports. Retrieved November 12, 2014, from https://www.lttc.ntu.edu.tw/academics/ptresearch/Wu_ and_Wu%20_2010_.pdf
Weyant, Katie., & Chisholm, Amanda. (2014). Safeguarding Fairness Principles through the Test Development Process: A Tale of Two Organizations. Cambridge English: Research Notes, 55, 3-6. Retrieved June 10, 2016, from http://www.cambridgeenglish.org/ images/164055-research-notes-55-document.pdf
Whiting, Gilman. (2009). Cultural Bias in Testing. Retrieved June 10, 2016, from http://www. education.com/reference/article/cultural-bias-in-testing/
Zhou, Yuemei. (2004). Comparability Study of Two National EFL Tests (CET-6 and TEM-4) in China. Retrieved November 11, 2015, from http://www.asiatefl.org/main/download_ pdf.php?i=4&c=1391758451
Downloads
Published
Issue
Section
License
บทความที่ได้รับการตีพิมพ์เป็นลิขสิทธิ์ของวารสารวิชาการ สถาบันเทคโนโลยีแห่งสุวรรณภูมิ
ข้อความที่ปรากฏในบทความแต่ละเรื่องในวารสารวิชาการเล่มนี้เป็นความคิดเห็นส่วนตัวของผู้เขียนแต่ละท่านไม่เกี่ยวข้องกับสถาบันเทคโนโลยีแห่งสุวรรณภูมิ และคณาจารย์ท่านอื่นๆในสถาบันฯ แต่อย่างใด ความรับผิดชอบองค์ประกอบทั้งหมดของบทความแต่ละเรื่องเป็นของผู้เขียนแต่ละท่าน หากมีความผิดพลาดใดๆ ผู้เขียนแต่ละท่านจะรับผิดชอบบทความของตนเองแต่ผู้เดียว
