วิธีดู Analytics ใน Copilot Studio วัดผลและปรับปรุงประสิทธิภาพ AI Agent

วิธีดู Analytics ใน Microsoft Copilot Studio ทำได้โดยเปิด Copilot Studio เลือก AI Agent ที่ต้องการ แล้วเข้าเมนู Monitor เพื่อดูสถิติการใช้งาน ผลลัพธ์การสนทนา คุณภาพคำตอบ ความพึงพอใจของผู้ใช้ และข้อผิดพลาดที่เกิดขึ้น จากนั้นเลือกช่วงเวลาและเปิดรายละเอียดแต่ละตัวชี้วัด เพื่อค้นหาว่า Agent ทำงานได้ดีตรงไหนและควรปรับปรุงส่วนใด

การสร้าง AI Agent ให้ตอบคำถามได้เป็นเพียงจุดเริ่มต้น หากต้องการนำ AI ไปใช้กับธุรกิจจริง จำเป็นต้องวัดผลอย่างต่อเนื่อง เพราะ Agent ที่ทำงานได้ดีในหน้าทดสอบอาจพบคำถามหรือสถานการณ์ที่ไม่เคยเตรียมไว้เมื่อมีผู้ใช้งานจริง

ตัวอย่างเช่น บริษัทสร้าง AI Agent สำหรับตอบคำถามเกี่ยวกับ LAN, Wi-Fi, Fiber Optic และ CCTV แล้วเผยแพร่บนเว็บไซต์ หากมีผู้เข้าชมสอบถามจำนวนมาก แต่ระบบตอบไม่ตรงคำถามหรือไม่สามารถช่วยลูกค้าไปถึงขั้นตอนขอใบเสนอราคาได้ ก็อาจยังไม่บรรลุเป้าหมายทางธุรกิจ

Analytics ช่วยให้ทราบว่าผู้ใช้ถามเรื่องอะไร Agent ตอบคำถามสำเร็จมากน้อยเพียงใด มีการส่งต่อเจ้าหน้าที่กี่ครั้ง คำตอบจาก Knowledge มีคุณภาพอย่างไร และ Tools ทำงานได้ตามเป้าหมายหรือไม่

บทความนี้ comsiam จะสอนวิธีดู Analytics ใน Microsoft Copilot Studio แบบละเอียด ตั้งแต่ความหมายของ Dashboard, Sessions, Engagement Rate, Resolution Rate, Escalation Rate, Customer Satisfaction (CSAT), Generative Answers, Knowledge Sources และการติดตาม Copilot Credits พร้อมตัวอย่างวิเคราะห์ข้อมูลเพื่อปรับปรุงประสิทธิภาพ AI Agent ให้ดีขึ้น

📊 Analytics ใน Microsoft Copilot Studio คืออะไร?

Analytics คือระบบรวบรวมและวิเคราะห์ข้อมูลการทำงานของ AI Agent เพื่อช่วยให้ผู้สร้างและผู้ดูแลเข้าใจประสิทธิภาพของ Agent หลังนำไปใช้งาน

ระบบช่วยตอบคำถามสำคัญ เช่น

• มีผู้ใช้งาน Agent จำนวนเท่าไร?
• จำนวนการสนทนาเพิ่มขึ้นหรือลดลง?
• Agent ตอบคำถามสำเร็จกี่ครั้ง?
• มีการส่งต่อเจ้าหน้าที่มากน้อยเพียงใด?
• ผู้ใช้หยุดสนทนากลางคันหรือไม่?
• คำตอบจาก Knowledge มีคุณภาพอย่างไร?
• ผู้ใช้พึงพอใจกับคำตอบหรือไม่?
• Tool ตัวใดถูกเรียกใช้บ่อย?
• มีข้อผิดพลาดประเภทใด?
• Agent ใช้ Copilot Credits เท่าไร?

ทำไมต้องดู Analytics?

เพราะการประเมินว่า Agent ทำงานได้ดีหรือไม่ ควรอาศัยข้อมูลการใช้งานจริง ไม่ใช่ดูเพียงว่าระบบสามารถสนทนาได้

หาก Agent มีผู้ใช้จำนวนมาก แต่ตอบคำถามไม่สำเร็จ องค์กรยังต้องปรับปรุงระบบ

ในทางกลับกัน Agent ที่มีผู้ใช้น้อย แต่ออกแบบมาเพื่อช่วยงานเฉพาะทางและทำงานได้สำเร็จอย่างสม่ำเสมอ ก็อาจสร้างคุณค่าทางธุรกิจได้สูง

🧩 Copilot Studio มี Analytics และ Monitoring อะไรบ้าง?

Microsoft Copilot Studio มีความสามารถติดตามผลแตกต่างกันตามประเภท Agent และ Harness

เครื่องมือ	หน้าที่
Monitor	ดูภาพรวมประสิทธิภาพ Agent
Sessions	วิเคราะห์แต่ละการสนทนา
Conversation Outcomes	ดูผลลัพธ์การสนทนา
Engagement	ดูการมีส่วนร่วมของผู้ใช้
Reactions	ดู Thumbs Up / Down
Customer Satisfaction	ดูความพึงพอใจ
Generative Answers	ตรวจสอบคุณภาพคำตอบจาก AI
Knowledge Analytics	วิเคราะห์การใช้แหล่งข้อมูล
Topic Monitor	วิเคราะห์ Topic ใน Classic Mode
Tool Usage	ดูการเรียกเครื่องมือ
Credits Usage	ติดตามการใช้เครดิต
Transcripts	ตรวจสอบบทสนทนา
Agent Evaluation	ทดสอบและประเมินก่อนเผยแพร่

Standard Harness กับ GitHub Copilot Harness ต่างกันอย่างไร?

Standard Harness

เน้นการติดตามผลการสนทนา เช่น Engagement, Resolution, Escalation, Customer Satisfaction และคุณภาพคำตอบจาก Knowledge

GitHub Copilot Harness

มีหน้า Monitor ที่ติดตาม Total Sessions, Total Users, Success Rate, Fail Rate, Reactions, Tool Usage และ Copilot Credits ตามความสามารถของระบบ

ดังนั้นหน้าจอของแต่ละองค์กรอาจไม่เหมือนกันทั้งหมด

ควรตรวจสอบว่า Agent ที่ใช้อยู่เป็นประเภทใดก่อนนำขั้นตอนในบทความนี้ไปใช้

🚀 วิธีเปิด Analytics ใน Copilot Studio ทีละขั้นตอน

ขั้นตอนที่ 1: เปิด Microsoft Copilot Studio

ลงชื่อเข้าใช้ด้วยบัญชีที่มีสิทธิ์ดูข้อมูล Agent

ขั้นตอนที่ 2: เลือก Environment

ตรวจสอบ Environment ที่ต้องการ เช่น Development หรือ Production

ขั้นตอนที่ 3: เปิด Agents

เลือก Agent ที่ต้องการวิเคราะห์

ตัวอย่าง:

IT Customer Assistant

ขั้นตอนที่ 4: เปิด Monitor

เลือกแท็บ Monitor

ระบบจะแสดงข้อมูลติดตามผลตามประเภท Agent ที่รองรับ

ขั้นตอนที่ 5: เลือกช่วงเวลา

ใช้ Date Filter เพื่อดูข้อมูลในช่วงที่ต้องการ

ตัวอย่าง:

• 7 วันล่าสุด
• 30 วันล่าสุด
• ช่วงเวลาที่กำหนด

ตัวเลือกจริงขึ้นอยู่กับหน้าจอและข้อมูลที่ระบบรองรับ

ขั้นตอนที่ 6: ตรวจสอบภาพรวม

ดูจำนวน Sessions, Outcomes, Feedback และตัวชี้วัดสำคัญ

ขั้นตอนที่ 7: เปิดรายละเอียด

เลือกตัวชี้วัดที่ต้องการวิเคราะห์เพิ่มเติม

ขั้นตอนที่ 8: ตรวจสอบ Sessions

ค้นหาการสนทนาที่มีปัญหา

ขั้นตอนที่ 9: วิเคราะห์สาเหตุ

ตรวจสอบ Knowledge, Tools หรือขั้นตอนการสนทนาที่เกี่ยวข้อง

ขั้นตอนที่ 10: ปรับปรุง Agent

แก้ไขเฉพาะส่วนที่พบปัญหา

ขั้นตอนที่ 11: ทดสอบซ้ำ

ใช้ชุดคำถามเดิมเพื่อยืนยันผล

ขั้นตอนที่ 12: Publish

เมื่อทดสอบผ่าน ให้เผยแพร่เวอร์ชันใหม่และติดตามผลอีกครั้ง

📈 ตัวชี้วัดสำคัญที่ควรรู้ใน Copilot Studio

KPI	ความหมาย	ใช้วิเคราะห์อะไร
Total Sessions	จำนวน Analytics Sessions	ปริมาณการใช้งาน
Total Users	จำนวนผู้ใช้งาน	การเข้าถึง Agent
Engagement Rate	สัดส่วน Sessions ที่มี Engagement	การมีส่วนร่วม
Resolution Rate	สัดส่วน Sessions ที่ระบบจัดว่า Resolved	ผลลัพธ์การสนทนา
Escalation Rate	สัดส่วน Sessions ที่ส่งต่อ	ความจำเป็นในการส่งต่อ
Abandonment Rate	สัดส่วน Sessions ที่ถูกจัดว่า Abandoned	การหยุดสนทนา
CSAT	คะแนนความพึงพอใจ	ประสบการณ์ผู้ใช้
Response Quality	การประเมินคุณภาพคำตอบ	คุณภาพ Generative Answers
Tool Usage	จำนวนหรือรูปแบบการเรียก Tools	การใช้เครื่องมือ
Success / Fail Rate	ผลสำเร็จหรือล้มเหลวตามระบบ	ความน่าเชื่อถือ
Copilot Credits	ปริมาณเครดิตที่ใช้	ต้นทุน

ข้อสำคัญ: ตัวชี้วัดเหล่านี้ไม่ได้แสดงครบทุกตัวใน Agent ทุกประเภท และคำว่า Success, Resolved หรือ Engaged อาจมีนิยามเฉพาะของ Microsoft ที่ไม่เท่ากับการบรรลุเป้าหมายทางธุรกิจจริง

👥 Total Sessions คืออะไร?

Total Sessions คือจำนวน Analytics Sessions ที่เกิดขึ้นในช่วงเวลาที่เลือก

Session ต่างจาก Conversation อย่างไร?

Conversation คือการโต้ตอบระหว่างผู้ใช้กับ Agent

แต่หนึ่ง Conversation อาจประกอบด้วยหนึ่งหรือหลาย Analytics Sessions

ตัวอย่างเช่น ผู้ใช้ถามเรื่อง Wi-Fi แล้วจบคำถาม ต่อมาถามเรื่องแจ้งซ่อมในบทสนทนาเดียวกัน ระบบอาจบันทึกเป็นหลาย Analytics Sessions ตามรูปแบบการทำงาน

ใช้ Sessions วิเคราะห์อะไร?

• ปริมาณการใช้งาน
• ช่วงเวลาที่มีผู้ใช้มาก
• แนวโน้มหลัง Publish
• ผลกระทบจากการปรับปรุง Agent

Sessions เพิ่มขึ้นหมายความว่า Agent ดีขึ้นไหม?

ไม่จำเป็น

Sessions เพิ่มขึ้นอาจหมายถึงมีผู้ใช้งานมากขึ้น แต่ก็อาจเกิดจากผู้ใช้ต้องถามซ้ำหลายครั้ง

จึงควรดูร่วมกับ Resolution Rate และคุณภาพคำตอบ

📊 Engagement Rate คืออะไร?

Engagement Rate ใช้ดูสัดส่วนของ Analytics Sessions ที่ระบบจัดว่ามีการมีส่วนร่วม

สำหรับ Standard Harness ที่ใช้การวัดผลแบบ Conversation Analytics การจัดประเภท Engaged ขึ้นอยู่กับเงื่อนไขการทำงานของ Topics และเหตุการณ์ที่เกี่ยวข้อง

ตัวอย่างการคำนวณ

สมมติว่า Agent มี

Total Sessions = 1,000

Engaged Sessions = 750

Engagement Rate = (750 ÷ 1,000) × 100

Engagement Rate = 75%

ตัวเลขนี้เป็นตัวอย่างสมมติ

Engagement Rate สูงดีหรือไม่?

ต้องดูวัตถุประสงค์ Agent

หาก Agent ออกแบบสำหรับตอบคำถามสั้นๆ การที่ผู้ใช้ได้รับคำตอบแล้วจบอย่างรวดเร็วอาจเป็นผลดี

จึงไม่ควรเพิ่มระยะเวลาสนทนาเพียงเพื่อให้ดูเหมือน Engagement สูง

✅ Resolution Rate คืออะไร?

Resolution Rate คือสัดส่วนของ Engaged Sessions ที่ระบบจัดว่าจบด้วยผลลัพธ์ Resolved

สำหรับ Conversation Analytics แบบ Standard Harness ผลลัพธ์นี้เกี่ยวข้องกับการจบบทสนทนาและการยืนยันความสำเร็จตามกลไกของระบบ

ตัวอย่าง

Engaged Sessions = 800

Resolved Sessions = 640

Resolution Rate = (640 ÷ 800) × 100

Resolution Rate = 80%

Resolution Rate สูงหมายความว่า AI ตอบถูกทุกครั้งไหม?

ไม่ใช่

บาง Sessions อาจถูกจัดว่า Resolved ตามวิธีบันทึกผลของระบบ แม้ผู้ใช้จะไม่ได้ยืนยันอย่างชัดเจนในทุกกรณี

ดังนั้น Resolution Rate ควรใช้ร่วมกับ CSAT, Feedback และการตรวจสอบบทสนทนาจริง

วิธีปรับปรุง Resolution Rate

1. ปรับ Knowledge ให้ตรงคำถาม
2. แก้ไขคำตอบที่ไม่ชัดเจน
3. ปรับ Topic Flow
4. ตรวจสอบ Tools
5. เพิ่ม Fallback ที่เหมาะสม
6. ปรับขั้นตอนจบบทสนทนา
7. ทดสอบกับคำถามจริง

🔁 Escalation Rate คืออะไร?

Escalation คือกรณีที่ Agent ส่งต่อการสนทนาหรือเข้าสู่กระบวนการขอความช่วยเหลือจากเจ้าหน้าที่ตามการออกแบบ

ตัวอย่าง

Engaged Sessions = 1,000

Escalated Sessions = 150

Escalation Rate = (150 ÷ 1,000) × 100

Escalation Rate = 15%

Escalation สูงเป็นเรื่องไม่ดีเสมอไปหรือไม่?

ไม่เสมอไป

บางคำถามจำเป็นต้องส่งต่อเจ้าหน้าที่ เช่น

• การยืนยันราคา
• การนัดสำรวจหน้างาน
• การแก้ปัญหาซับซ้อน
• ข้อมูลลูกค้าที่ต้องตรวจสอบตัวตน
• การอนุมัติคำขอสำคัญ

ควรวิเคราะห์อะไร?

ควรดูว่า Escalation เกิดจากคำถามที่ AI ควรตอบได้ หรือเกิดจากงานที่ต้องใช้เจ้าหน้าที่จริง

หาก Agent ส่งต่อคำถามพื้นฐานจำนวนมาก อาจต้องปรับ Knowledge

แต่หากส่งต่อกรณีสำคัญอย่างถูกต้อง ถือว่าเป็นผลการทำงานที่เหมาะสม

🚪 Abandonment Rate คืออะไร?

Abandoned Session คือ Engaged Session ที่จบลงโดยไม่มีผลลัพธ์ Resolved หรือ Escalated ตามกลไกการวัดผลของระบบ

ตัวอย่าง

Engaged Sessions = 1,000

Abandoned Sessions = 180

Abandonment Rate = (180 ÷ 1,000) × 100

Abandonment Rate = 18%

ทำไมผู้ใช้จึงหยุดสนทนา?

อาจมีหลายสาเหตุ เช่น

• Agent ตอบไม่ตรงคำถาม
• ขั้นตอนยาวเกินไป
• Agent ถามข้อมูลซ้ำ
• ไม่พบ Knowledge
• Tool ทำงานช้า
• ผู้ใช้ได้รับคำตอบแล้วแต่ไม่ได้จบบทสนทนาตาม Flow
• ผู้ใช้ปิดหน้าต่างสนทนา

ดังนั้น Abandonment ไม่ได้หมายความว่าผู้ใช้ไม่พอใจทุกกรณี

วิธีลด Abandonment ที่เกิดจากปัญหาจริง

1. ลดคำถามที่ไม่จำเป็น
2. ปรับข้อความให้สั้นและเข้าใจง่าย
3. ทำ Fallback ให้ช่วยผู้ใช้ต่อได้
4. ตรวจสอบเวลาเรียก Tools
5. เพิ่มช่องทางติดต่อเจ้าหน้าที่
6. ตรวจสอบขั้นตอนจบบทสนทนา

⭐ Customer Satisfaction (CSAT) คืออะไร?

CSAT คือคะแนนความพึงพอใจที่ผู้ใช้ให้หลังสนทนากับ Agent ตามรูปแบบแบบสอบถามที่ระบบรองรับ

Microsoft Copilot Studio ใช้คะแนนความพึงพอใจในช่วง 0–5 สำหรับระบบที่เกี่ยวข้อง

การแปลผลคะแนน

คะแนน	ความหมาย
1–2	Dissatisfied
3	Neutral
4–5	Satisfied

คะแนนเฉลี่ย CSAT อยู่บนสเกล 5 คะแนนตามข้อมูลการตอบแบบสอบถาม

ตัวอย่าง

ผู้ใช้ตอบแบบสอบถาม 100 ครั้ง

คะแนนเฉลี่ย = 4.3 จาก 5

แสดงว่าผู้ตอบแบบสอบถามมีความพึงพอใจค่อนข้างสูง

ข้อจำกัดของ CSAT

ไม่ได้มีผู้ใช้ทุกคนตอบแบบสอบถาม

ดังนั้นคะแนน CSAT เป็นความคิดเห็นของกลุ่มผู้ตอบ ไม่ใช่ผลสำรวจจากผู้ใช้ทั้งหมด

ควรดูจำนวนผู้ตอบร่วมด้วยเสมอ

👍 Thumbs Up และ Thumbs Down ใช้วิเคราะห์อะไร?

Copilot Studio สามารถรวบรวมปฏิกิริยาของผู้ใช้ต่อคำตอบของ Agent ตามการตั้งค่าที่รองรับ

Thumbs Up

แสดงว่าผู้ใช้ให้ Feedback เชิงบวกต่อคำตอบ

Thumbs Down

แสดงว่าผู้ใช้ให้ Feedback เชิงลบ

วิธีเปิดการเก็บ Reactions

สำหรับ Standard Harness ที่รองรับ:

1. เปิด Agent
2. ไปที่ Settings
3. ค้นหาส่วน User feedback
4. เปิด Collect user reactions to agent messages
5. ตรวจสอบ Disclaimer และข้อมูลความเป็นส่วนตัว
6. บันทึกการตั้งค่า
7. ทดสอบการให้ Feedback

วิธีนำ Feedback ไปปรับปรุง

หากคำตอบหนึ่งได้รับ Thumbs Down จำนวนมาก ให้ตรวจสอบว่า

• คำตอบผิดหรือไม่
• ตอบไม่ครบหรือไม่
• ใช้ Knowledge เก่าหรือไม่
• อธิบายยาวเกินไปหรือไม่
• ไม่เข้าใจคำถามของผู้ใช้หรือไม่

ข้อควรระวัง

จำนวน Thumbs Down ไม่ได้บอกสาเหตุทั้งหมด ต้องเปิดดูบริบทของคำถามและคำตอบประกอบ

🧠 วิธีดูคุณภาพ Generative Answers

Generative Answers คือคำตอบที่ Agent สร้างขึ้นโดยใช้ข้อมูลจาก Knowledge ที่กำหนด

Copilot Studio มีความสามารถวิเคราะห์คุณภาพคำตอบโดยใช้ AI ตามวิธีที่รองรับ

ตัวอย่างการประเมิน

Good

คำตอบมีคุณภาพเหมาะสมตามเกณฑ์ประเมิน

Poor

คำตอบอาจมีปัญหา เช่น ไม่ตอบคำถามหรือข้อมูลไม่เหมาะสม

วิธีตรวจสอบ

1. เปิด Agent
2. เลือก Monitor
3. เปิดส่วนที่เกี่ยวข้องกับ Generative Answers
4. ตรวจสอบ Response Quality
5. เปิดรายละเอียดคำถาม
6. ตรวจสอบแหล่ง Knowledge
7. เปรียบเทียบคำตอบกับข้อมูลจริง
8. แก้ไขเนื้อหาหรือ Instructions
9. ทดสอบซ้ำ

ทำไม Response Quality ไม่มีข้อมูลบางคำถาม?

เพราะการประเมินคุณภาพไม่ได้ครอบคลุมทุกคำถามเสมอไป

บางระบบใช้การสุ่มตัวอย่างเพื่อวิเคราะห์คุณภาพ

จึงไม่ควรตีความว่าไม่มีผลประเมินเท่ากับคำตอบดีหรือผิดเสมอไป

📚 วิธีดูว่า Knowledge Source ใดถูกใช้งานมากที่สุด

Knowledge Analytics ช่วยให้ผู้สร้าง Agent เข้าใจว่าแหล่งข้อมูลใดถูกนำมาใช้ประกอบคำตอบ

ตัวอย่าง Knowledge Sources:

• Company Website
• SharePoint
• OneDrive
• Dataverse
• Uploaded Files

ตัวอย่างการวิเคราะห์

สมมติ Agent มี Knowledge สามชุด

Company Services

ข้อมูลบริการ

Fiber Optic Knowledge

บทความเทคนิค

IT Support Manual

คู่มือแก้ปัญหา

หากผู้ใช้ถามเรื่อง Wi-Fi แต่ Agent กลับเลือก Knowledge สำหรับ Fiber Optic บ่อยครั้ง อาจเกิดจาก Description ของ Knowledge ไม่ชัดเจนหรือเนื้อหาแหล่งข้อมูลซ้ำกัน

วิธีปรับปรุง

1. ตรวจสอบชื่อ Knowledge
2. ปรับ Description
3. ตรวจสอบเนื้อหาซ้ำ
4. แยก Knowledge ตาม Intent
5. ตรวจสอบแหล่งข้อมูลที่ใช้ตอบจริง
6. ทดลองคำถามใหม่

🔎 วิธีดู Themes หรือกลุ่มคำถามที่ผู้ใช้ถามบ่อย

Copilot Studio สามารถจัดกลุ่มคำถามของผู้ใช้เป็น Themes เพื่อช่วยค้นหาแนวโน้มความต้องการ

ตัวอย่าง Themes

Wi-Fi Troubleshooting

คำถามเกี่ยวกับ Wi-Fi ใช้งานไม่ได้

Fiber Optic Installation

คำถามเกี่ยวกับการติดตั้งไฟเบอร์ออฟติก

Service Pricing

คำถามเกี่ยวกับราคาบริการ

Project Status

คำถามเกี่ยวกับสถานะโครงการ

Contact and Support

คำถามเกี่ยวกับการติดต่อเจ้าหน้าที่

Themes มีประโยชน์อย่างไร?

ช่วยให้องค์กรเห็นว่าผู้ใช้สนใจเรื่องใดมากที่สุด

ตัวอย่างการนำไปใช้

หากพบว่าผู้ใช้จำนวนมากถามว่า

“ติดตั้ง Fiber Optic ราคาเท่าไร?”

แต่ Agent ไม่มีข้อมูลราคาที่ได้รับอนุมัติ อาจปรับปรุง Knowledge โดยเพิ่มคำอธิบายปัจจัยกำหนดราคา และแนวทางขอใบเสนอราคา

ข้อควรระวัง

การจัดกลุ่มคำถามด้วย AI เป็นการวิเคราะห์ตามรูปแบบข้อมูล อาจไม่ตรงกับเจตนาของผู้ใช้ทุกกรณี

ควรตรวจสอบตัวอย่างคำถามภายใน Theme ก่อนตัดสินใจปรับปรุง

🛠️ วิธีดูประสิทธิภาพ Tools และ Actions

Agent ที่ใช้ Connectors หรือ Agent Flows ควรวิเคราะห์ผลการเรียกเครื่องมือเพิ่มเติม

ตัวชี้วัดที่ควรดู

• จำนวนครั้งที่ Tool ถูกเรียก
• Tool ที่เรียกบ่อย
• การเรียกสำเร็จ
• การเรียกล้มเหลว
• เวลาในการตอบสนอง
• Authentication Errors
• API Errors

ตัวอย่าง

Agent มี Tool ชื่อ

CreateServiceRequest

หากผู้ใช้แจ้งซ่อม 100 ครั้ง แต่ระบบสร้าง Ticket สำเร็จ 85 ครั้ง

Tool Success Rate = (85 ÷ 100) × 100

Tool Success Rate = 85%

ตัวเลขนี้เป็นตัวอย่างสมมติ และควรนับจากผล Tool จริง ไม่ใช่จากข้อความที่ Agent ตอบ

วิธีแก้ปัญหา

หาก Tool ล้มเหลวบ่อย ให้ตรวจสอบ

1. Connection
2. Authentication
3. Input Mapping
4. Required Fields
5. Permissions
6. API Rate Limits
7. Flow Run History
8. Error Handling

💰 วิธีดู Copilot Credits และต้นทุน AI Agent

Copilot Studio สามารถติดตามการใช้ Copilot Credits ตามรูปแบบการคิดค่าบริการที่รองรับ

สำหรับ GitHub Copilot Harness หน้า Monitor มีข้อมูล Total Estimated Credits Used และรายละเอียดการใช้งานตามช่วงเวลาที่เลือก

ทำไมต้องติดตามเครดิต?

เพราะการใช้ Agent จำนวนมาก รวมถึงการทดลองและ Evaluation บางประเภท อาจมีผลต่อการใช้เครดิตและต้นทุน

ตัวอย่างการวิเคราะห์

สมมติ Agent ใช้

10,000 Copilot Credits ในหนึ่งเดือน

และมีงานที่ตรวจสอบแล้วว่าสำเร็จ 500 งาน

Credits per Successful Task = 10,000 ÷ 500

เท่ากับ 20 Credits ต่อหนึ่งงานสำเร็จ

ตัวเลขนี้เป็นเพียงการคำนวณเพื่อวิเคราะห์ประสิทธิภาพ ไม่ใช่อัตราค่าบริการของ Microsoft

แนวทางลดต้นทุนอย่างเหมาะสม

• ลดการเรียก Tools ที่ไม่จำเป็น
• ปรับ Instructions ให้ชัด
• ลดขั้นตอนซ้ำ
• ปรับ Knowledge Retrieval
• ตรวจสอบจำนวนการเรียก Agent
• วิเคราะห์งานที่เกิด Error บ่อย
• จำกัดการทดสอบที่ไม่จำเป็นใน Production

ข้อควรระวัง

จำนวน Sessions และจำนวน Copilot Credits ไม่ใช่หน่วยเดียวกัน

ไม่ควรนำมาคิดต้นทุนโดยสมมติว่าหนึ่ง Session ใช้เครดิตเท่ากันทุกครั้ง

🗣️ วิธีดู Sessions และรายละเอียดบทสนทนา

Sessions ช่วยให้ผู้ดูแลตรวจสอบปัญหาที่เกิดขึ้นกับผู้ใช้จริง

ขั้นตอน

1. เปิด Agent
2. เลือก Monitor
3. เปิด Sessions
4. เลือกช่วงเวลา
5. ใช้ Filters
6. เลือก Session ที่ต้องการ
7. ตรวจสอบรายละเอียด
8. วิเคราะห์ Knowledge และ Tools ที่เกี่ยวข้อง
9. บันทึกสาเหตุ
10. ปรับปรุง Agent

ข้อมูลที่อาจพบ

• เวลาที่เริ่มสนทนา
• ระยะเวลาสนทนา
• จำนวนข้อความ
• Channel
• Conversation Outcome
• Satisfaction
• Sentiment
• Tools ที่ใช้

รายละเอียดที่มองเห็นขึ้นอยู่กับสิทธิ์และประเภท Agent

ดู Sessions ย้อนหลังได้นานเท่าไร?

สำหรับรายการ Sessions ใน Monitor ตามเอกสาร Microsoft รองรับการแสดงข้อมูลย้อนหลัง 28 วัน

หากต้องการเก็บข้อมูลนานกว่านั้น ควรวางแผน Export หรือจัดเก็บตามรูปแบบที่องค์กรอนุญาต

📥 วิธีดาวน์โหลด Conversation Transcripts

Transcript คือข้อมูลบทสนทนาระหว่างผู้ใช้กับ Agent

สามารถนำมาช่วยตรวจสอบคำถามที่ตอบไม่ได้หรือข้อผิดพลาดของ Tools

วิธีดำเนินการโดยภาพรวม

1. เปิด Agent
2. ไปที่ Monitor
3. เปิดส่วน Sessions หรือการส่งออก Transcripts
4. เลือกช่วงเวลาที่รองรับ
5. ดาวน์โหลดข้อมูลเมื่อมีสิทธิ์
6. จัดเก็บในพื้นที่ที่ปลอดภัย
7. วิเคราะห์ข้อมูลตามนโยบายองค์กร

Transcript ควรเก็บอะไร?

เฉพาะข้อมูลที่จำเป็นต่อการตรวจสอบและปรับปรุง Agent

ข้อควรระวัง

Transcripts อาจมีข้อมูลลูกค้า พนักงาน หรือข้อมูลธุรกิจ

ต้องควบคุมสิทธิ์และปฏิบัติตามนโยบายความเป็นส่วนตัวขององค์กร

นอกจากนี้ การมองเห็นรายละเอียด Transcript อาจต้องมีสิทธิ์ เช่น Bot Transcript Viewer หรือสิทธิ์ที่เกี่ยวข้อง

🏢 ตัวอย่างวิเคราะห์ Analytics สำหรับ AI Agent ธุรกิจ IT

สมมติบริษัทมี AI Chatbot บนเว็บไซต์สำหรับตอบคำถามเกี่ยวกับบริการ IT

ข้อมูล Analytics รายเดือน — ตัวอย่างสมมติ

ตัวชี้วัด	จำนวน
Total Sessions	2,000
Engaged Sessions	1,600
Resolved Sessions	1,120
Escalated Sessions	320
Abandoned Sessions	160
CSAT	4.2/5
Successful Service Requests	120

วิเคราะห์ผล

Engagement Rate

1,600 ÷ 2,000 × 100 = 80%

Resolution Rate

1,120 ÷ 1,600 × 100 = 70%

Escalation Rate

320 ÷ 1,600 × 100 = 20%

Abandonment Rate

160 ÷ 1,600 × 100 = 10%

สิ่งที่ควรทำต่อ

หาก Escalation ส่วนใหญ่เกิดจากคำถามเกี่ยวกับบริการพื้นฐาน ควรปรับ Knowledge ให้ครบถ้วนขึ้น

แต่หาก Escalation ส่วนใหญ่เป็นการขอใบเสนอราคา การส่งต่อเจ้าหน้าที่อาจเป็นกระบวนการที่ถูกต้อง

ผลลัพธ์ทางธุรกิจที่ต้องวัดเพิ่ม

จำนวนคำขอบริการที่สร้างสำเร็จจริง

จำนวนลูกค้าที่เจ้าหน้าที่ติดต่อกลับสำเร็จ

จำนวนคำขอที่กลายเป็นงานขาย

ตัวเลขเหล่านี้อาจต้องดึงจาก CRM หรือระบบบริการ ไม่ได้มีอยู่ครบใน Analytics ของ Copilot Studio โดยอัตโนมัติ

🌐 ตัวอย่าง Analytics สำหรับ Fiber Optic Service Agent

เป้าหมาย

ช่วยลูกค้าค้นข้อมูลและเตรียมคำขอติดตั้ง Fiber Optic

Themes ที่พบ — ตัวอย่างสมมติ

Theme	สัดส่วนคำถาม
ราคาติดตั้ง	35%
ระยะทางเดินสาย	20%
Fiber Splicing	15%
OTDR Testing	10%
อุปกรณ์และสาย	10%
การติดต่อ	10%

วิเคราะห์

หากคำถามเรื่องราคามีสัดส่วนสูงสุด ควรตรวจสอบว่า Agent มีข้อมูลอธิบายปัจจัยกำหนดราคาครบหรือไม่

ตัวอย่างการปรับปรุง

เพิ่ม Knowledge เกี่ยวกับ

• ระยะทางเดินสาย
• ประเภทสาย
• จำนวน Core
• วิธีติดตั้ง
• งานเข้าหัว
• งาน Splicing
• การทดสอบ
• สภาพหน้างาน
• อุปกรณ์ที่เกี่ยวข้อง
• ขั้นตอนการประเมินราคา

สิ่งที่ไม่ควรทำ

ไม่ควรให้ Agent สร้างราคาจากการคาดเดา หากบริษัทไม่มีข้อมูลราคาที่ได้รับอนุมัติ

📈 วิธีปรับปรุง Agent ด้วย Analytics แบบเป็นขั้นตอน

ขั้นตอนที่ 1: กำหนดเป้าหมาย

ตัวอย่าง:

ลดคำถามที่เจ้าหน้าที่ต้องตอบซ้ำ

ขั้นตอนที่ 2: เลือก KPI

เช่น Resolution Rate และ CSAT

ขั้นตอนที่ 3: เก็บข้อมูลช่วงเริ่มต้น

ตัวอย่าง 14–30 วัน ตามปริมาณผู้ใช้

ขั้นตอนที่ 4: เปิด Monitor

ตรวจสอบตัวชี้วัด

ขั้นตอนที่ 5: วิเคราะห์ Sessions ที่มีปัญหา

ตรวจสอบคำตอบและ Tools

ขั้นตอนที่ 6: จัดกลุ่มสาเหตุ

เช่น

• Knowledge ไม่ครบ
• Instructions ไม่ชัด
• Tool Error
• Authentication
• ผู้ใช้ถามกำกวม

ขั้นตอนที่ 7: จัดลำดับความสำคัญ

เริ่มจากข้อผิดพลาดที่กระทบผู้ใช้มากที่สุด

ขั้นตอนที่ 8: แก้ไข Agent

เปลี่ยนเฉพาะส่วนที่เกี่ยวข้อง

ขั้นตอนที่ 9: ใช้ Test Sets ทดสอบ

ตรวจสอบว่าไม่ทำให้ความสามารถอื่นเสีย

ขั้นตอนที่ 10: Publish

เผยแพร่เวอร์ชันใหม่

ขั้นตอนที่ 11: ติดตามผลช่วงเวลาเทียบเคียง

ตรวจสอบ KPI หลังแก้ไข

ขั้นตอนที่ 12: บันทึกผล

เก็บประวัติว่าแก้อะไรและตัวชี้วัดเปลี่ยนแปลงอย่างไร

🧪 ตัวอย่างเปรียบเทียบ Analytics ก่อนและหลังปรับปรุง

ตัวเลขทั้งหมดเป็นตัวอย่างสมมติ

KPI	ก่อนปรับปรุง	หลังปรับปรุง
Resolution Rate	65%	78%
Escalation Rate	25%	17%
Abandonment Rate	10%	5%
CSAT	3.7/5	4.4/5

สรุปผล

Resolution Rate เพิ่มขึ้น 13 จุดเปอร์เซ็นต์

Escalation Rate ลดลง 8 จุดเปอร์เซ็นต์

CSAT เพิ่มขึ้น 0.7 คะแนน

ต้องตรวจสอบอะไรอีก?

ควรตรวจสอบว่าช่วงเวลา จำนวนผู้ใช้ และประเภทคำถามเทียบเคียงกันได้

หากสัดส่วนคำถามเปลี่ยนมาก ตัวเลขที่ดีขึ้นอาจไม่ได้เกิดจากการแก้ไข Agent เพียงอย่างเดียว

🔧 Analytics ใน Copilot Studio ไม่แสดงข้อมูล แก้อย่างไร?

ปัญหาที่ 1: ยังไม่ได้ Publish Agent

ข้อมูล Production จะเริ่มเกิดขึ้นเมื่อเผยแพร่และมีผู้ใช้งานจริง

ปัญหาที่ 2: ไม่มีผู้ใช้งานจริง

หากไม่มี Sessions ตามเงื่อนไข ก็อาจไม่มีข้อมูลให้แสดง

ปัญหาที่ 3: เลือกช่วงเวลาผิด

ตรวจสอบ Date Filter

ปัญหาที่ 4: ใช้ Harness คนละประเภท

ตรวจสอบว่า Agent ใช้ Standard Harness หรือ GitHub Copilot Harness

ปัญหาที่ 5: ข้อมูลยังไม่อัปเดต

ข้อมูล Analytics ไม่จำเป็นต้องแสดงทันที

บางส่วนอาจใช้เวลาประมวลผลก่อนแสดงใน Monitor

ปัญหาที่ 6: ไม่เห็น Sessions

ตรวจสอบสิทธิ์และช่วงเวลา

ปัญหาที่ 7: เปิด Transcript ไม่ได้

ตรวจสอบสิทธิ์สำหรับดูบทสนทนา

ปัญหาที่ 8: CSAT ไม่มีข้อมูล

อาจยังไม่มีผู้ตอบแบบสอบถาม

ปัญหาที่ 9: Reactions ไม่แสดง

ตรวจสอบการตั้งค่า Collect user reactions และ Channel ที่รองรับ

ปัญหาที่ 10: Response Quality ว่าง

การวิเคราะห์คุณภาพอาจไม่ได้สุ่มตัวอย่างคำถามนั้น

ปัญหาที่ 11: Knowledge Analytics ไม่ครบ

ตรวจสอบประเภท Knowledge และความสามารถ Analytics ที่รองรับ

ปัญหาที่ 12: Topic Analytics ไม่แสดง

ตรวจสอบว่า Agent ใช้ Classic Mode หรือ Generative Orchestration

ปัญหาที่ 13: Copilot Credits เพิ่มขึ้น

ตรวจสอบการใช้งาน Production, Testing และ Evaluation ตามรายละเอียดเครดิต

ปัญหาที่ 14: Resolution Rate ต่ำ

ตรวจสอบ Conversation Outcomes และขั้นตอน End of Conversation

ปัญหาที่ 15: Escalation Rate สูง

แยกกรณีที่ AI ตอบไม่ได้ออกจากกรณีที่ต้องส่งต่อจริง

ปัญหาที่ 16: Agent ตอบผิดบ่อย

ตรวจสอบ Themes, Response Quality, Knowledge และ Instructions

ปัญหาที่ 17: Tools ล้มเหลวบ่อย

ตรวจสอบ Connections, Flow Run History และ API Errors

ปัญหาที่ 18: ข้อมูล Analytics แตกต่างจาก CRM

ตรวจสอบนิยามและช่วงเวลาของตัวชี้วัด เพราะ Sessions ไม่เท่ากับจำนวน Leads หรือคำสั่งซื้อ

🔐 ความปลอดภัยและความเป็นส่วนตัวของ Analytics

ข้อมูล Analytics และ Transcripts อาจมีรายละเอียดจากบทสนทนาของผู้ใช้งาน

แนวทางที่ควรปฏิบัติ

1. กำหนดสิทธิ์ผู้ดูข้อมูล
2. จำกัดการเข้าถึง Transcripts
3. ไม่ส่งออกข้อมูลโดยไม่จำเป็น
4. ปกป้องข้อมูลส่วนบุคคล
5. ตรวจสอบนโยบายการเก็บรักษาข้อมูล
6. ใช้ข้อมูลเฉพาะวัตถุประสงค์ที่ได้รับอนุญาต
7. ไม่เปิดเผยข้อความสนทนาของลูกค้าโดยไม่มีเหตุผล
8. ตรวจสอบการแชร์รายงาน
9. กำหนดผู้รับผิดชอบข้อมูล
10. ปฏิบัติตามนโยบายองค์กร

ควรเปิดให้พนักงานทุกคนดู Transcripts หรือไม่?

ไม่ควรโดยอัตโนมัติ

สิทธิ์ดูข้อมูลวิเคราะห์และรายละเอียดบทสนทนาควรแยกตามความจำเป็นของแต่ละหน้าที่

📋 Checklist การตรวจ Analytics ประจำสัปดาห์

รายการ	ตรวจอะไร
Total Sessions	การใช้งานเพิ่มหรือลด
Engagement	ผู้ใช้โต้ตอบอย่างไร
Resolution	ปิดการสนทนาสำเร็จ
Escalation	ส่งต่อมากผิดปกติหรือไม่
Abandonment	มีจุดที่ผู้ใช้หยุดหรือไม่
CSAT	ความพึงพอใจ
Reactions	คำตอบที่ได้รับ Feedback ลบ
Themes	คำถามยอดนิยม
Knowledge	ข้อมูลที่ใช้และปัญหา
Tools	การเรียกและข้อผิดพลาด
Credits	แนวโน้มต้นทุน
Sessions	กรณีผิดปกติ
Security	ข้อมูลและสิทธิ์
Improvements	สิ่งที่ต้องแก้ไข

📈 10 เทคนิคใช้ Analytics ให้ปรับปรุง AI Agent ได้จริง

1. วัดผลตามเป้าหมายธุรกิจ

ไม่ดูเพียงจำนวน Sessions

2. ใช้หลาย KPI ร่วมกัน

เช่น Resolution, CSAT และ Tool Success

3. อ่าน Transcripts ที่มีปัญหา

เพื่อเข้าใจสาเหตุจริง

4. วิเคราะห์ Themes

ค้นหาความต้องการของผู้ใช้

5. ตรวจสอบ Knowledge Sources

ลดข้อมูลผิดและข้อมูลซ้ำ

6. ปรับ Tool Description

ช่วยให้ Agent เลือกเครื่องมือได้ตรงหน้าที่

7. ลดขั้นตอนที่ไม่จำเป็น

ช่วยให้ผู้ใช้ทำงานสำเร็จเร็วขึ้น

8. ทดสอบก่อน Publish ทุกครั้ง

ป้องกันการแก้ไขแล้วทำให้ส่วนอื่นเสีย

9. เปรียบเทียบช่วงเวลาที่เหมาะสม

เพื่อประเมินผลการปรับปรุง

10. ติดตามต้นทุนร่วมกับผลลัพธ์

เพราะ Agent ที่ดีควรสร้างคุณค่าเหมาะสมกับค่าใช้จ่าย

❓ คำถามที่พบบ่อยเกี่ยวกับ Analytics ใน Copilot Studio

วิธีดู Analytics ใน Copilot Studio ทำอย่างไร?

เปิด Agent แล้วเลือก Monitor จากนั้นเลือกช่วงเวลาและตรวจสอบ Sessions, Outcomes, Feedback และตัวชี้วัดที่รองรับ

Copilot Studio มี Analytics ไหม?

มี โดยรองรับการติดตามผลการใช้งาน Agent ตามประเภท Harness และความสามารถที่เปิดใช้

Monitor ใน Copilot Studio คืออะไร?

เป็นหน้าสำหรับติดตามประสิทธิภาพ การใช้งาน และปัญหาของ Agent

Total Sessions คืออะไร?

คือจำนวน Analytics Sessions ที่เกิดขึ้นในช่วงเวลาที่เลือก

Sessions กับ Users ต่างกันอย่างไร?

Sessions เป็นจำนวนช่วงการสนทนาตามนิยามของ Analytics ส่วน Users เป็นจำนวนผู้ใช้งาน

Engagement Rate คืออะไร?

เป็นสัดส่วน Sessions ที่ถูกจัดว่ามี Engagement ตามเงื่อนไขของระบบ

Resolution Rate คืออะไร?

เป็นสัดส่วน Engaged Sessions ที่ระบบจัดว่า Resolved

Escalation Rate คืออะไร?

เป็นสัดส่วน Sessions ที่เข้าสู่กระบวนการส่งต่อเจ้าหน้าที่ตามการออกแบบ

Abandonment Rate คืออะไร?

เป็นสัดส่วน Sessions ที่จบลงโดยไม่เกิด Resolution หรือ Escalation ตามนิยามระบบ

CSAT คืออะไร?

เป็นคะแนนความพึงพอใจของผู้ใช้จากแบบสอบถามที่รองรับ

Copilot Studio ดู Thumbs Up และ Thumbs Down ได้ไหม?

ได้ตามการตั้งค่า Collect user reactions และความสามารถของ Channel

Copilot Studio วิเคราะห์คุณภาพคำตอบได้ไหม?

ได้ตามความสามารถการประเมิน Generative Answers โดยบางรายการใช้การสุ่มตัวอย่าง

Themes ใน Copilot Studio คืออะไร?

เป็นกลุ่มคำถามของผู้ใช้ที่ระบบจัดหมวดเพื่อช่วยวิเคราะห์แนวโน้ม

ดูได้ไหมว่า Knowledge Source ไหนถูกใช้?

ได้ตามความสามารถ Knowledge Analytics และรายละเอียด Sessions ที่รองรับ

ดู Tool Usage ได้ไหม?

ได้ในระบบ Monitoring ที่รองรับการติดตามการเรียก Tools

Copilot Studio ดู Copilot Credits ได้ไหม?

ได้ตามประเภท Agent และรายงานการใช้เครดิตที่รองรับ

ดาวน์โหลด Transcripts ได้ไหม?

ได้เมื่อมีสิทธิ์และข้อมูลอยู่ในช่วงเวลาที่ระบบรองรับ

ดู Sessions ย้อนหลังได้นานเท่าไร?

รายการ Sessions ใน Monitor รองรับย้อนหลัง 28 วันตามเอกสาร Microsoft

ทำไม Analytics ไม่มีข้อมูล?

อาจเกิดจากยังไม่มีการใช้งาน Production เลือกช่วงเวลาผิด ข้อมูลยังประมวลผลไม่เสร็จ หรือไม่มีสิทธิ์เข้าถึง

Resolution Rate สูงหมายความว่า AI ถูกต้องทุกครั้งไหม?

ไม่ใช่ ต้องตรวจสอบคุณภาพคำตอบและ Feedback ร่วมด้วย

Copilot Studio วัด ROI ได้ไหม?

สามารถใช้ข้อมูล Analytics เป็นส่วนหนึ่งของการคำนวณ ROI แต่ต้องรวมผลลัพธ์จากระบบธุรกิจและต้นทุนจริงเพิ่มเติม

ควรดู Analytics บ่อยแค่ไหน?

สำหรับ Agent ที่เริ่มเปิดใช้งาน ควรตรวจสอบอย่างสม่ำเสมอ และอาจสรุปผลรายสัปดาห์หรือรายเดือนตามปริมาณการใช้งาน

✅ สรุปวิธีดู Analytics ใน Copilot Studio เพื่อปรับปรุง AI Agent

Microsoft Copilot Studio มีระบบ Monitor และ Analytics สำหรับติดตามการใช้งานและประสิทธิภาพ AI Agent โดยสามารถตรวจสอบตัวชี้วัดสำคัญ เช่น Total Sessions, Engagement, Resolution, Escalation, Customer Satisfaction และคุณภาพ Generative Answers ตามประเภท Agent ที่รองรับ

ขั้นตอนหลักคือเปิด Agent เลือก Monitor กำหนดช่วงเวลา ตรวจสอบ KPI แล้วเปิดรายละเอียด Sessions เพื่อวิเคราะห์สาเหตุของปัญหา

สำหรับ Agent ที่เชื่อม Knowledge ควรตรวจสอบคำถามที่ตอบผิดและแหล่งข้อมูลที่ใช้ ส่วน Agent ที่เรียก Tools ควรติดตามการทำงานของ Connector, Flow และ API

ตัวชี้วัดที่สำคัญไม่ใช่เพียงจำนวนผู้ใช้ แต่รวมถึงความถูกต้องของคำตอบ ผลสำเร็จของงาน ความพึงพอใจ ความปลอดภัย และต้นทุนที่เกิดขึ้นจริง

comsiam แนะนำให้ใช้แนวทาง กำหนดเป้าหมาย → เลือก KPI → เปิด Monitor → วิเคราะห์ Sessions → ตรวจสอบ Knowledge และ Tools → แก้ไขปัญหา → ทดสอบ → Publish → เปรียบเทียบผล → ปรับปรุงต่อเนื่อง

การใช้ Analytics อย่างเป็นระบบช่วยให้องค์กรพัฒนา AI Agent จากการทดลองใช้งาน ไปสู่ระบบที่วัดผลและปรับปรุงได้จริง พร้อมสร้างประโยชน์ต่อผู้ใช้และธุรกิจในระยะยาว