พื้นฐาน AI Engineering: การประเมินผลด้วย Diagram และตัวให้คะแนน Result (Output Scorers)

การสร้างแอปพลิเคชัน AI นั้นง่าย แต่การทำให้มั่นใจว่าแอปพลิเคชันจะให้ผลลัพธ์ที่น่าเชื่อถือและมีคุณภาพสูงอย่างสม่ำเสมอคือความท้าทายสำคัญทางวิศวกรรม การประเมินผลอย่างเป็นระบบคือหัวใจสำคัญในการเปลี่ยนจากการเขียน Prompt ที่คาดเดาผลลัพธ์ไม่ได้ ไปสู่ระบบ AI ที่พร้อมสำหรับการใช้งานจริง ในคอร์สนี้ คุณจะได้เรียนรู้หลักการสำคัญของการประเมินผลใน AI engineering โดยมุ่งเน้นไปที่ขั้นตอนการประเมินผลตาม Diagram และตัวให้คะแนนตาม Output คุณจะได้ค้นพบวิธีติดตามประสิทธิภาพ การตั้งค่าเคสทดสอบอย่างรัดกุม และการปรับแต่ง Prompt ของคุณตามตัวชี้วัดที่มีโครงสร้างและทำซ้ำได้ สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดพื้นฐานของการประเมินผล AI และเหตุผลที่การทดสอบอย่างเป็นระบบมีความจำเป็นสำหรับแอปพลิเคชัน LLM - กำหนดค่ากระบวนการประเมินผลตาม Diagram เพื่อวางแผนและทดสอบเวิร์กโฟลว์ AI แบบหลายขั้นตอนที่ซับซ้อน - ปรับใช้ตัวให้คะแนนตาม Output เพื่อให้คะแนนและตรวจสอบคำตอบของ LLM โดยอัตโนมัติ - ออกแบบเคสทดสอบที่แข็งแกร่งซึ่งมุ่งเป้าไปที่รูปแบบข้อผิดพลาดเฉพาะและ Edge cases ใน Prompt ของคุณ - ประยุกต์ใช้รูปแบบการประเมินผลสมัยใหม่ รวมถึง LLM-as-a-judge และการตรวจสอบโครงสร้าง Output - วิเคราะห์ตัวชี้วัดการประเมินผลเพื่อทำการปรับปรุงกระบวนการ AI engineering ของคุณโดยอิงตามข้อมูล คอร์สนี้เริ่มต้นด้วยคำศัพท์ที่จำเป็นและปรัชญาของการทดสอบ AI ก่อนที่จะแนะนำคุณผ่านการใช้งานจริงทีละขั้นตอนในการสร้างตัวให้คะแนนการประเมินผลแบบกำหนดเอง คุณจะได้อ่านตัวอย่างเชิงปฏิบัติและวิเคราะห์รูปแบบโค้ดที่ออกแบบมาเพื่อให้ระบบ AI ของคุณทำงานได้อย่างน่าเชื่อถือและคาดเดาผลลัพธ์ได้ คอร์สนี้ออกแบบมาสำหรับวิศวกร AI มือใหม่ นักพัฒนาซอฟต์แวร์ และนักออกแบบ Prompt ที่ต้องการก้าวข้ามการทดสอบด้วยตนเอง ไม่จำเป็นต้องมีพื้นฐาน Machine Learning ระดับสูง เริ่มต้นสร้างระบบ AI ที่น่าเชื่อถือยิ่งขึ้นได้แล้ววันนี้ด้วยการเชี่ยวชาญพื้นฐานของการประเมินผล AI สมัยใหม่