คำตอบหลายพันบรรทัดที่ HR ไม่มีเวลาอ่าน AI ช่วยอะไรได้บ้าง?

‍

เราส่งแบบสอบถามให้กับพนักงานทุกปี แต่ได้อ่านคำตอบของพวกเขาจริง ๆ แค่ไหน?

ทุกปี หลายองค์กรทำแบบสำรวจความผูกพันพนักงาน (Employee Engagement Survey)

HR ใช้เวลาตั้งคำถาม ส่งแบบสำรวจ ติดตามคำตอบ และรวบรวมผลออกมาเป็นรายงาน คะแนนความผูกพันถูกนำเสนอในที่ประชุม มีกราฟเปรียบเทียบกับปีก่อน มีตัวเลขให้ผู้บริหารใช้ประกอบการตัดสินใจ

ทว่ายังมีข้อมูลอีกส่วนหนึ่งที่มักไม่ได้รับความสนใจเท่าที่ควร

‍นั่นคือคำตอบปลายเปิดที่พนักงานตั้งใจเขียนมา

บางคนเขียนเพียงประโยคเดียว บางคนเล่าปัญหาที่สะสมมานาน บางคนเสนอสิ่งที่อยากให้องค์กรเปลี่ยนแปลง

เมื่อรวมกันหลายพันบรรทัด การอ่านทั้งหมดอย่างละเอียดก็กลายเป็นงานที่ใช้เวลามหาศาล

ไม่ใช่เพราะ HR ไม่อยากอ่าน แต่เพราะอ่านไม่ไหวจริงๆ

‍

แล้วถ้าเรามีวิธีช่วยอ่านคำตอบเหล่านี้ได้มากขึ้น โดยไม่ต้องซื้อระบบใหม่ล่ะ?

‍

งานวิจัยบอกว่า AI ช่วยจัดหมวดข้อความได้ดีแค่ไหน?

ในปี 2023 Fabrizio Gilardi, Meysam Alizadeh และ Maël Kubli เผยแพร่งานวิจัย ChatGPT outperforms crowd workers for text-annotation tasks ในวารสาร Proceedings of the National Academy of Sciences (PNAS)

นักวิจัยทดสอบความสามารถของ ChatGPT ในการจัดประเภทข้อความ เช่น ข้อความเกี่ยวข้องกับเรื่องที่กำหนดหรือไม่ มีจุดยืนอย่างไร หรืออยู่ในประเด็นใด

งานวิจัยฉบับตีพิมพ์ใช้ข้อมูลข้อความจากโซเชียลมีเดียและบทความข่าวรวม 6,183 รายการ แล้วเปรียบเทียบผลการจัดหมวดกับคนที่รับจ้างทำงานลักษณะเดียวกันผ่านแพลตฟอร์ม Amazon Mechanical Turk (MTurk)

ผลพบว่า ChatGPT มีความแม่นยำสูงกว่าคนรับจ้างโดยเฉลี่ยประมาณ 25 เปอร์เซ็นต์ และให้ผลการจัดหมวดที่สอดคล้องกันมากกว่าทั้งคนรับจ้างและผู้ช่วยวิจัยที่ผ่านการฝึกในทุกงานที่ทดสอบ

ต้นทุนการจัดหมวดอยู่ที่ไม่เกิน 0.003 ดอลลาร์ต่อรายการ หรือถูกกว่าการใช้ MTurk ประมาณ 30 เท่าในการทดลองนั้น

ตัวเลขเหล่านี้ไม่ได้หมายความว่า AI จะทำได้ดีกว่าคนในทุกสถานการณ์ แต่แสดงให้เห็นว่า งานจัดหมวดข้อความจำนวนมากเป็นงานประเภทหนึ่งที่ AI สามารถเข้ามาช่วยลดภาระได้ และนี่คือโอกาสที่ HR น่าจะนำมาลองคิดต่อได้

‍

ไม่ต้องซื้อระบบใหม่ ก็เริ่มทดลองได้

ลองนึกถึงไฟล์ Excel ที่เก็บคำตอบปลายเปิดจากแบบสำรวจพนักงานปีล่าสุด แทนที่จะให้ HR อ่านทุกบรรทัดเพื่อแยกประเด็นด้วยตัวเองทั้งหมด เราอาจใช้เครื่องมือ AI ที่องค์กรอนุญาตให้ใช้งาน มาช่วยจัดหมวดข้อความในเบื้องต้น วิธีเริ่มต้นไม่จำเป็นต้องซับซ้อนอะไรมากเลย

1. เตรียมข้อมูลก่อนส่งให้ AI

ลบชื่อ รหัสพนักงาน และข้อมูลที่สามารถเชื่อมโยงกลับไปหาตัวบุคคลได้ รวมถึงรายละเอียดเฉพาะเจาะจงที่อาจทำให้รู้ว่าใครเป็นผู้เขียน

แต่การลบชื่ออย่างเดียวอาจไม่เพียงพอ โดยเฉพาะข้อความที่กล่าวถึงเหตุการณ์เฉพาะตัวหรือทีมที่มีพนักงานเพียงไม่กี่คน และต้องตรวจสอบนโยบายความปลอดภัยของข้อมูลและเงื่อนไขการใช้ AI ขององค์กรก่อนเสมอ

2. บอกให้ AI รู้ว่ากำลังอ่านอะไร

ระบุว่าข้อความเหล่านี้มาจากแบบสำรวจเรื่องใด คำถามต้นฉบับถามว่าอะไร และต้องการจัดหมวดเพื่อวัตถุประสงค์ใด การมีบริบทที่ชัดเจนจะช่วยให้การจัดหมวดมีทิศทาง ไม่ใช่ปล่อยให้ AI ตีความคำตอบตามที่คาดเดาเอง

3. ให้จัดกลุ่มประเด็น พร้อมหลักฐานที่ตรวจสอบย้อนกลับได้

อาจเริ่มจากประเด็นเรื่องภาระงาน ความสัมพันธ์กับหัวหน้า โอกาสเติบโต ค่าตอบแทน หรือสภาพแวดล้อมในการทำงาน

จากนั้นสั่งให้ AI ระบุจำนวนข้อความในแต่ละหมวด พร้อมรหัสอ้างอิงกลับไปยังคำตอบต้นฉบับ และยกตัวอย่างข้อความประกอบจากข้อมูลที่ผ่านการจัดการด้านความเป็นส่วนตัวแล้ว

แต่อย่าเพิ่งเชื่อจำนวนที่ AI สรุปมาทั้งหมด ควรตรวจสอบกับข้อมูลต้นฉบับในสเปรดชีตด้วย เพราะหนึ่งคำตอบอาจมีหลายประเด็น

4. ให้คนตรวจผลก่อนนำไปใช้

สุ่มตรวจข้อความจากแต่ละหมวด เช่น เริ่มที่อย่างน้อย 10% เพื่อประเมินว่าการจัดกลุ่มตรงกับความหมายที่พนักงานสื่อสารจริงหรือไม่

ตัวเลข 10% เป็นเพียงจุดเริ่มต้นสำหรับการตรวจสอบ ไม่ใช่เกณฑ์ความแม่นยำที่งานวิจัยนี้รับรอง หากพบข้อผิดพลาดมาก หรือเป็นข้อมูลที่มีความเสี่ยงสูง ควรเพิ่มการตรวจสอบมากขึ้น

5. แยกประเด็นอ่อนไหวออกจากการสรุปทั่วไป

ข้อความเกี่ยวกับการคุกคาม การเลือกปฏิบัติ ความปลอดภัย หรือข้อร้องเรียนร้ายแรง ต้องมีผู้รับผิดชอบที่ได้รับอนุญาตตรวจสอบตามกระบวนการที่เหมาะสม โดย AI อาจช่วยคัดกรองเบื้องต้นได้ แต่ไม่ควรใช้บทสรุปจาก AI เป็นเหตุผลในการละเลยคำร้องเรียนหรือยุติการตรวจสอบ

‍

จัดหมวดข้อความได้ ไม่ได้แปลว่าเข้าใจความรู้สึก

งานวิจัยของ Gilardi และคณะศึกษาความสามารถของ AI ในการจัดประเภทข้อความ ไม่ได้ทดลองใช้ AI วิเคราะห์ Employee Engagement Survey โดยตรง และไม่ได้พิสูจน์ว่า AI สามารถเข้าใจประสบการณ์ ความรู้สึก หรือความต้องการของพนักงานได้ดีกว่า HR

ลองนึกถึงพนักงานที่เขียนว่า

"งานเยอะ แต่ก็ยังไหวอยู่"

AI อาจจัดข้อความนี้ไว้ในหมวดภาระงานได้ถูกต้อง

แต่คำว่า "ยังไหว" หมายถึงเขารับมือได้จริงๆ หรือกำลังพยายามบอกว่าตัวเองใกล้ไม่ไหวแล้ว?

เรื่องนี้อาจต้องอาศัยบริบท การพูดคุย และความไว้วางใจที่องค์กรสร้างไว้กับพนักงาน

AI ช่วยบอกได้ว่าคนกำลังพูดถึงเรื่องอะไร แต่การเข้าใจว่าทำไมเขาจึงพูดเช่นนั้น และองค์กรควรทำอะไรต่อ ยังต้องอาศัยคนในการวิเคราะห์

‍

แบบสำรวจไม่ควรจบลงแค่คะแนน

เราอาจใช้เวลามากมายเพื่อออกแบบคำถามให้พนักงานตอบ แต่กลับมีเวลาน้อยเกินไปสำหรับทำความเข้าใจคำตอบที่ได้รับ ถ้า AI ช่วยลดเวลาจัดหมวดข้อมูลได้ HR ก็อาจมีเวลามากขึ้นสำหรับงานที่สำคัญกว่า

การหาว่าปัญหาใดเกิดซ้ำ การตรวจสอบว่าปัญหานั้นเกิดจากอะไร การพูดคุยกับพนักงานเพิ่มเติม และการออกแบบแนวทางแก้ไขที่เหมาะสม เพราะจุดหมายของ Employee Engagement Survey ไม่ใช่การมีคะแนนสำหรับนำเสนอในที่ประชุม

‍

แต่ควรเป็นการตอบให้ได้ว่า เราได้ยินอะไรจากพนักงาน และเราจะทำอะไรกับสิ่งที่ได้ยิน?

‍

ปีที่แล้ว หลังการสำรวจ Engagement คอมเมนต์ปลายเปิดจากพนักงานในองค์กรของเรา มีคนอ่านจริง ๆ กี่บรรทัด?

‍

Source:

Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT outperforms crowd workers for text-annotation tasks. Proceedings of the National Academy of Sciences, 120(30), e2305016120.