ผลสำรวจฟ้อง นักพัฒนาลองใช้ AI พบทำงานช้าลง 19%

[ตรงกันข้าม] แทนที่จะช่วยให้เร็วขึ้น แต่มีผลสำรวจพบว่า AI อาจขัดขวางประสิทธิภาพการทำงานของนักพัฒนาซอฟต์แวร์มากประสบการณ์ แม้ตัวผู้ใช้จะรู้สึกว่าทำงานเร็วขึ้น แต่กลับมีข้อมูลชี้ว่าทำงานช้าลงแทน

ผลสำรวจจาก Model Evaluation & Threat Research (METR) องค์กรไม่แสวงหาผลกำไร ที่มุ่งประเมินความสามารถของระบบ AI เป็นหลัก ล่าสุดได้สำรวจผลกระทบของเครื่องมือ AI ต่อการพัฒนาซอฟต์แวร์ โดยได้นำนักพัฒนาซอฟต์แวร์มากประสบการณ์ 16 คน มาลองใช้ AI ช่วยลุยงานกว่า 246 งาน ซึ่งมีตั้งแต่การแก้บั๊ก (bug) ไปจนถึงการสร้างฟีเจอร์ใหม่ ๆ โดยใช้ให้ทักษะที่ผู้เข้าร่วมทดสอบคุ้นเคยเป็นอย่างดี

อนึ่งผู้เข้าร่วมทดสอบ จะได้รับค่าตอบแทนถึง 150 ดอลลาร์ฯ หรือประมาณ 4,860 บาทต่อชั่วโมงด้วย เพื่อให้การทดสอบมีความแม่นยำ จากนั้นก็ทดสอบทั้งกรณีที่มีและไม่มี AI พร้อมกับการบันทึกหน้าจอและรายงานเวลาที่ใช้ของผู้เข้าร่วมทดสอบด้วยตนเอง

แต่ละงานจะถูกสุ่มว่าจะอนุญาตหรือห้ามใช้เครื่องมือ AI ช่วยเขียนโค้ด ซึ่งผู้เข้าร่วมส่วนใหญ่เลือกใช้ Cursor Pro คู่กับ Claude 3.5 หรือ 3.7 Sonnet เมื่อได้รับอนุญาตให้ใช้ AI ก่อนที่จะเริ่ม นักพัฒนาได้คาดการณ์อย่างมั่นใจว่า AI จะทำให้พวกเขาทำงานเร็วขึ้น 24% และเชื่อว่าประสิทธิภาพการทำงานของตนดีขึ้น 20% เมื่อใช้ AI

อย่างไรก็ตาม ผลสำรวจกลับแสดงข้อมูลให้เห็นเลยว่า นักพัฒนาใช้เวลาทำงานนานขึ้นถึง 19% เมื่อใช้เครื่องมือ AI ซึ่งไม่เพียงเป็นผลลัพธ์ที่ขัดแย้งกับการรับรู้ของผู้ร่วมทดสอบเท่านั้น (คือรู้สึกว่าเร็วแต่ความจริงคือช้า) แต่ยังขัดแย้งกับคาดการณ์ของผู้เชี่ยวชาญด้าน Machine Learning อีกด้วย

ด้านนักวิจัยได้ลองเจาะลึกถึงสาเหตุด้วย ก็พบปัจจัยที่ส่งผลกระทบหลายประการ โดยประการแรก คือการมองโลกในแง่ดีของนักพัฒนาต่อประโยชน์ของเครื่องมือ AI โดยผู้เข้าร่วมหลายคนคุ้นเคยกับฐานโค้ดของตนเป็นอย่างดี ทำให้มีช่องว่างน้อยมากที่ AI จะสามารถเสนอทางลัดที่มีเหมาะสมได้

ต่อมาคือความซับซ้อนและขนาดของงานที่ใช้ทดสอบ ซึ่งต้องใช้โค้ดมากกว่าล้านบรรทัด ทำให้เป็นความท้าทายสำหรับ AI ซึ่งมักจะทำงานได้ดีกว่ากับปัญหาและงานเล็กและมีขอบเขตจำกัดมากกว่า อีกทั้งคำแนะนำจาก AI ก็ไม่สม่ำเสมอ ทำให้นักพัฒนาใช้โค้ดที่แนะนำโดย AI ไม่ถึง 44% และต้องใช้เวลาอย่างมากในการตรวจสอบและแก้ไขด้วย

สุดท้ายคือตัวเครื่องมือ AI พบประสบปัญหาในการทำความเข้าใจบริบทโดยนัย ประมาณว่าตัว AI ไม่เข้าใจรูปแบบโค้ดที่ต้องใช้สร้างงานขนาดใหญ่ทั้งหมดจริง ๆ ทำให้มีการแนะนำที่ผิดหรือไม่เกี่ยวข้องมาเลยนั้นเอง

ทั้งนี้ทั้งนั้น ทางฝั่งนักวิจัยก็เตือนว่า “ไม่ควรตีความผลลัพธ์เหล่านี้เกินจริง” การวิจัยนี้มุ่งเน้นไปที่นักพัฒนาที่มีทักษะสูง ซึ่งทำงานกับฐานโค้ดที่ซับซ้อนและคุ้นเคยกันดี เครื่องมือ AI อาจมีประโยชน์สำหรับนักพัฒนาที่มีประสบการณ์น้อย หรือผู้ที่ทำงานในโครงการที่ไม่คุ้นเคยหรือมีขนาดเล็กกว่า และนักวิจัยยังยอมรับว่าเทคโนโลยี AI นี้ กำลังพัฒนาอย่างรวดเร็ว และในอนาคตอาจให้ผลลัพธ์ที่แตกต่างออกไป

ที่มา : Techspot