Copilot Studio ตอบผิดหรือตอบไม่ตรงคำถาม แก้อย่างไรให้ AI ตอบแม่นยำขึ้น

Copilot Studio ตอบผิด ตอบมั่ว หรือตอบไม่ตรงคำถาม แก้อย่างไร? ให้เริ่มจากตรวจสอบ Knowledge Sources ว่ามีข้อมูลที่ถูกต้องและพร้อมใช้งานหรือไม่ จากนั้นปรับชื่อและ Description ของ Knowledge ให้ชัดเจน ตรวจสอบ Instructions และ Generative AI Settings แล้วใช้ Test your agent ร่วมกับ Activity Map เพื่อดูว่า AI เลือกแหล่งข้อมูล Topic หรือ Tool ถูกต้องหรือไม่ ก่อนแก้ไขและทดสอบซ้ำ

หาก AI Agent ตอบคำถามจากเอกสารไม่แม่นยำ สาเหตุไม่ได้มาจากโมเดล AI เพียงอย่างเดียว แต่อาจเกิดจากข้อมูลต้นทางไม่ครบ เนื้อหาขัดแย้งกัน การค้นหาข้อมูลไม่พบ การตั้งค่าที่เปิดให้ใช้ความรู้ทั่วไป หรือการเลือก Tools ไม่ตรงกับคำถาม

ตัวอย่างเช่น บริษัทสร้าง Copilot Agent สำหรับตอบคำถามเกี่ยวกับ LAN, Wi-Fi, Fiber Optic และ CCTV แต่เมื่อลูกค้าถามว่า “รับติดตั้ง Fiber Optic ที่ขอนแก่นหรือไม่?” Agent กลับตอบรายละเอียดสาย Fiber Optic โดยไม่ตอบว่าบริษัทมีบริการในพื้นที่ดังกล่าวหรือไม่

กรณีนี้อาจเกิดจาก Agent เลือก Knowledge ด้านเทคนิคแทนข้อมูลบริการ หรือไม่พบข้อมูลพื้นที่ให้บริการจากเว็บไซต์ต้นทาง

การแก้ไขที่เหมาะสมคือค้นหาต้นเหตุให้พบ ไม่ใช่เพิ่ม Instructions ยาวขึ้นเรื่อยๆ โดยไม่ตรวจสอบว่า Agent ใช้ข้อมูลและเครื่องมือใดอยู่จริง

บทความนี้ comsiam จะอธิบายวิธีแก้ Copilot Studio ตอบผิดอย่างละเอียด ครอบคลุม Hallucination, Knowledge Sources, Generative Answers, Generative Orchestration, Instructions, Citations, SharePoint, Dataverse, Tools, Variables, Activity Map และการประเมินคุณภาพคำตอบก่อน Publish

🤖 ทำไม Copilot Studio จึงตอบผิดหรือตอบไม่ตรงคำถาม?

Microsoft Copilot Studio ใช้โมเดล AI ร่วมกับ Knowledge, Topics และ Tools เพื่อสร้างคำตอบ

ระบบจึงมีหลายขั้นตอนที่อาจทำให้คำตอบคลาดเคลื่อนได้

1. Knowledge ไม่มีข้อมูลที่ต้องการ

หากถามข้อมูลที่ไม่ได้เตรียมไว้ Agent อาจไม่พบคำตอบ

2. ข้อมูลต้นทางไม่ถูกต้อง

หากเอกสารผิด AI ก็อาจนำข้อมูลผิดมาตอบ

3. Knowledge Description ไม่ชัดเจน

ทำให้ Agent เลือกแหล่งข้อมูลไม่เหมาะสม

4. มีเอกสารหลายชุดขัดแย้งกัน

เช่น คู่มือฉบับเก่ากับฉบับใหม่ระบุขั้นตอนไม่ตรงกัน

5. เปิดใช้ AI General Knowledge

Agent อาจใช้ความรู้ทั่วไปแทนข้อมูลเฉพาะของบริษัท

6. เปิดใช้ Ungrounded Responses

ระบบอาจสร้างคำตอบโดยไม่มีข้อมูลจาก Knowledge รองรับ

7. Instructions กว้างเกินไป

เช่น ระบุเพียงว่า “ตอบคำถามทุกเรื่องให้ดีที่สุด”

8. Generative Orchestration เลือก Tool ผิด

เช่น ใช้ Knowledge แทนการเรียก Tool ตรวจสอบสถานะงาน

9. Inputs หรือ Variables ผิด

Agent ส่งข้อมูลไม่ครบหรือส่งค่าไม่ตรงกับคำถาม

10. Authentication และ Permissions ไม่ถูกต้อง

ทำให้ระบบค้นข้อมูลบางส่วนไม่ได้

11. Search Index ยังไม่พร้อม

ข้อมูลใหม่อาจยังไม่ถูกนำเข้าสู่ระบบค้นหา

12. บริบทการสนทนาทำให้เข้าใจคลาดเคลื่อน

คำถามก่อนหน้าอาจมีผลต่อคำตอบในบทสนทนาปัจจุบัน

สิ่งสำคัญ: ต้องแยกให้ออกว่า Agent “ไม่มีข้อมูล” “ค้นหาไม่เจอ” “เลือกแหล่งข้อมูลผิด” หรือ “มีข้อมูลแล้วแต่สรุปผิด” เพราะแต่ละกรณีมีวิธีแก้ไขต่างกัน

🧠 Hallucination ใน Copilot Studio คืออะไร?

Hallucination คือกรณีที่ AI สร้างข้อความหรือรายละเอียดที่ดูเหมือนถูกต้อง แต่ไม่ได้รับการยืนยันจากข้อมูลที่เชื่อถือได้ หรือขัดแย้งกับข้อเท็จจริง

ตัวอย่าง

ผู้ใช้ถาม:

“บริษัทรับประกันงานติดตั้ง Fiber Optic กี่ปี?”

แต่ Knowledge ไม่ได้ระบุระยะเวลารับประกัน

Agent กลับตอบว่า:

“รับประกัน 3 ปี”

กรณีนี้ถือเป็นคำตอบที่สร้างรายละเอียดขึ้นเองหากไม่มีข้อมูลยืนยัน

Hallucination พบได้ในเรื่องใดบ้าง?

• ราคาสินค้า
• ค่าบริการ
• วันนัดหมาย
• ระยะเวลารับประกัน
• สถานะคำสั่งซื้อ
• หมายเลข Ticket
• รายละเอียดโครงการ
• ข้อมูลลูกค้า
• ตัวเลขทางเทคนิค
• นโยบายบริษัท

วิธีลด Hallucination

1. ใช้ Knowledge ที่ได้รับการตรวจสอบ
2. จำกัดการใช้ข้อมูลที่ไม่เกี่ยวข้อง
3. กำหนดให้ Agent แจ้งเมื่อไม่พบข้อมูล
4. ตรวจสอบ Citations
5. ใช้ Tools สำหรับข้อมูลธุรกรรม
6. ทดสอบคำถามที่ไม่มีคำตอบ
7. ติดตามคำตอบผิดจาก Analytics

ไม่มีการตั้งค่าใดรับประกันว่าจะขจัด Hallucination ได้ทั้งหมด จึงต้องใช้มาตรการหลายส่วนร่วมกัน

🚀 วิธีแก้ Copilot Studio ตอบผิดแบบเร่งด่วน 10 ขั้นตอน

หากพบว่า Agent ตอบผิด ให้ทำตามลำดับนี้ก่อน

ขั้นตอนที่ 1: บันทึกคำถามที่ตอบผิด

เก็บคำถามจริงและคำตอบที่ได้รับ

ขั้นตอนที่ 2: ระบุคำตอบที่ถูกต้อง

ตรวจสอบข้อมูลจากเอกสารหรือระบบต้นทาง

ขั้นตอนที่ 3: เปิด Knowledge

ตรวจสอบว่า Agent มีแหล่งข้อมูลที่จำเป็นหรือไม่

ขั้นตอนที่ 4: ตรวจสอบสถานะ Knowledge

ดูว่าพร้อมใช้งานและค้นหาได้หรือยัง

ขั้นตอนที่ 5: ตรวจสอบ Name และ Description

ปรับให้สื่อถึงหัวข้อข้อมูลอย่างชัดเจน

ขั้นตอนที่ 6: ตรวจสอบ Instructions

ดูว่ามีคำสั่งที่กว้าง ขัดแย้ง หรือกำกวมหรือไม่

ขั้นตอนที่ 7: ตรวจสอบ Generative AI Settings

พิจารณาการใช้ General Knowledge, Web Search และ Ungrounded Responses

ขั้นตอนที่ 8: เปิด Test your agent

ทดลองคำถามเดิมในบทสนทนาใหม่

ขั้นตอนที่ 9: ตรวจสอบ Activity Map

ดูว่า Agent เลือก Knowledge, Topics และ Tools อย่างไร

ขั้นตอนที่ 10: แก้ไขและทดสอบซ้ำ

ทดสอบคำถามเดิมและคำถามใกล้เคียง ก่อน Publish

📚 วิธีตรวจสอบ Knowledge Sources เมื่อ AI ตอบผิด

Knowledge คือแหล่งข้อมูลที่ Copilot Agent ใช้ประกอบคำตอบ

การตรวจสอบ Knowledge จึงควรเป็นขั้นตอนแรกๆ เมื่อพบปัญหา

วิธีตรวจสอบ

1. เปิด Microsoft Copilot Studio
2. เลือก Agent
3. เปิด Knowledge
4. ตรวจสอบรายการ Knowledge Sources
5. เลือกแหล่งข้อมูลที่เกี่ยวข้อง
6. ตรวจสอบ Name และ Description
7. ตรวจสอบสถานะการเชื่อมต่อ
8. ตรวจสอบเนื้อหาต้นทาง
9. แก้ไขข้อมูลที่ผิด
10. ทดสอบด้วยคำถามเดิม

ตัวอย่าง Knowledge สำหรับธุรกิจ IT

Knowledge	ข้อมูลที่ควรมี
Company Services	รายละเอียดบริการ
LAN Installation	การติดตั้ง LAN
Wi-Fi Solutions	ระบบ Wi-Fi
Fiber Optic Guide	คู่มือไฟเบอร์ออฟติก
CCTV Services	ข้อมูลกล้องวงจรปิด
Maintenance Support	บริการบำรุงรักษา
Contact Information	ช่องทางติดต่อ

ทำไมต้องแยก Knowledge?

เพราะการรวมข้อมูลหลายเรื่องไว้โดยไม่จัดโครงสร้างอาจทำให้การค้นหาเจอข้อมูลที่ไม่ตรงกับเจตนาของผู้ใช้

แต่ไม่ได้หมายความว่าต้องแยกทุกเอกสารเป็น Knowledge Source ใหม่เสมอไป ควรออกแบบตามเนื้อหาและข้อจำกัดของระบบ

✍️ วิธีแก้ Knowledge Description ให้ AI เลือกข้อมูลถูก

Description เป็นส่วนสำคัญที่ช่วยให้ Generative Orchestration เข้าใจว่า Knowledge Source ใช้ตอบคำถามอะไร

ตัวอย่าง Description ที่ไม่เหมาะสม

“Company documents”

คำอธิบายนี้กว้างเกินไป

ตัวอย่างที่เหมาะสม

“This knowledge source contains information about the company’s LAN installation, Wi-Fi solutions, Fiber Optic services, CCTV installation, and maintenance support. Use it to answer questions about available services and service processes.”

สำหรับเอกสาร Fiber Optic

“This source contains technical guides about Fiber Optic cable types, fusion splicing, OTDR testing, optical loss measurement, and installation procedures. Use it for technical questions rather than pricing or company service availability.”

หลักการเขียน Description

ระบุให้ครบว่า

• มีข้อมูลเรื่องอะไร
• เหมาะกับคำถามประเภทใด
• กลุ่มผู้ใช้เป้าหมายคือใคร
• ไม่ควรใช้ตอบคำถามประเภทใด

ทำไมต้องระบุสิ่งที่ไม่ควรใช้?

เพราะช่วยแยก Knowledge ที่มีเนื้อหาคล้ายกัน

ตัวอย่างเช่น คู่มือการติดตั้ง Fiber Optic ไม่ควรถูกใช้เป็นแหล่งยืนยันราคาบริการของบริษัท

📝 วิธีเขียน Instructions แก้ AI ตอบมั่ว

Instructions ที่ดีต้องระบุหน้าที่ของ Agent และขอบเขตการตอบอย่างชัดเจน

ไม่ควรเขียนยาวโดยไม่จำเป็น เพราะอาจทำให้คำสั่งซ้ำซ้อนหรือขัดแย้งกัน

ตัวอย่าง Instructions ที่ไม่เหมาะสม

“Answer every question accurately. Always provide complete information.”

ปัญหาคือไม่ได้กำหนดว่า AI ควรใช้ข้อมูลใด และควรทำอย่างไรเมื่อไม่พบคำตอบ

ตัวอย่าง Instructions ที่แนะนำ

ROLE

You are an IT service knowledge assistant.

KNOWLEDGE RULES

Use approved company knowledge sources for company-specific questions.

Do not invent service prices, warranty periods, service locations, certifications, customer references, or project information.

If information is not available in the configured knowledge sources, clearly state that it cannot be confirmed.

SOURCE SELECTION

Use company service knowledge for questions about available services.

Use technical documentation for installation, troubleshooting, and equipment specifications.

TOOL USAGE

For ticket status or other live business data, use the configured lookup tool rather than guessing from general knowledge.

RESPONSE STYLE

Respond in polite Thai.

Answer the user’s question directly before providing supporting details.

Use numbered steps for troubleshooting procedures.

ERROR HANDLING

If a tool fails or no reliable information is found, explain the limitation and recommend the appropriate next step.

Instructions นี้ช่วยอย่างไร?

ช่วยกำหนดว่า AI ควรใช้ข้อมูลประเภทใดสำหรับคำถามต่างๆ และเปิดทางให้ตอบว่าไม่พบข้อมูล แทนการสร้างคำตอบขึ้นเอง

ข้อจำกัด

Instructions ไม่สามารถทำให้ Agent เข้าถึง Knowledge หรือ Tools ที่ยังไม่ได้เพิ่มไว้จริง

ต้องตรวจสอบการตั้งค่าแหล่งข้อมูลและเครื่องมือร่วมด้วย

⚙️ วิธีตั้งค่า Generative AI ให้ลดคำตอบที่ไม่มีข้อมูลรองรับ

สำหรับ Agent แบบ Standard Harness ที่รองรับการตั้งค่า Generative AI ควรตรวจสอบตัวเลือกสำคัญดังนี้

1. AI General Knowledge

ควบคุมว่าระบบสามารถใช้ความรู้ทั่วไปของโมเดลหรือไม่

2. Web Search

ควบคุมการค้นหาข้อมูลจากเว็บภายนอกตามความสามารถที่รองรับ

3. Allow ungrounded responses

ควบคุมการอนุญาตให้ Agent สร้างคำตอบโดยไม่มี Knowledge หรือ Tool รองรับ

วิธีตรวจสอบ

1. เปิด Agent
2. เปิดส่วน Generative AI Settings
3. ตรวจสอบการใช้ General Knowledge
4. ตรวจสอบ Web Search
5. ตรวจสอบ Allow ungrounded responses
6. ปรับให้เหมาะกับหน้าที่ Agent
7. Save
8. ทดสอบคำถามที่ไม่มีใน Knowledge

สำหรับ Agent ตอบข้อมูลบริษัท

ควรพิจารณาจำกัด Ungrounded Responses หากต้องการให้คำตอบยึดกับแหล่งข้อมูลที่กำหนด

ข้อควรระวัง

การปิด Ungrounded Responses อาจทำให้ Agent ไม่ตอบคำถามบางอย่างเมื่อระบบไม่สามารถสร้างคำตอบที่ผ่านข้อกำหนดด้าน Grounding ได้

จึงต้องทดสอบกรณีที่มีข้อมูลและไม่มีข้อมูลควบคู่กัน

🔎 วิธีตรวจสอบ Citations เพื่อหาต้นเหตุคำตอบผิด

Citations เป็นข้อมูลอ้างอิงที่ช่วยบอกว่าคำตอบเกี่ยวข้องกับ Knowledge Source ใด

วิธีตรวจสอบ

1. เปิด Test your agent
2. ส่งคำถามที่มีปัญหา
3. อ่านคำตอบ
4. ตรวจสอบ Citation ที่แสดง
5. เปิดข้อมูลต้นทางตามสิทธิ์
6. เปรียบเทียบข้อความ
7. ตรวจสอบว่าข้อมูลตรงกันหรือไม่
8. แก้ Knowledge หรือการตั้งค่า
9. ทดสอบซ้ำ

ตัวอย่าง

คำถาม

“บริษัทรับประกันการติดตั้ง CCTV กี่ปี?”

Agent ตอบว่า:

“รับประกัน 2 ปี”

แต่เอกสารต้นทางไม่ได้ระบุจำนวนปี

แสดงว่าคำตอบนี้ไม่ควรถูกยอมรับโดยไม่มีการตรวจสอบเพิ่มเติม

ถ้ามี Citation แสดงว่าคำตอบถูกต้องเสมอไหม?

ไม่ใช่

Citation ช่วยตรวจสอบแหล่งข้อมูล แต่โมเดลอาจตีความหรือสรุปข้อมูลผิดได้

ผู้ดูแลยังต้องเปรียบเทียบกับเนื้อหาต้นทางสำหรับข้อมูลสำคัญ

🗺️ วิธีใช้ Activity Map หาว่า Agent เลือกข้อมูลผิดตรงไหน

สำหรับ Standard Harness ที่ใช้ Generative Orchestration สามารถใช้ Activity Map เพื่อดูการเลือก Knowledge, Topics และ Tools ระหว่างทดสอบ

ขั้นตอน

1. เปิด Agent
2. เปิด Test your agent
3. ส่งคำถามที่ตอบผิด
4. เปิด Activity Map
5. ตรวจสอบลำดับการทำงาน
6. ดูว่า Agent เลือก Knowledge ใด
7. ตรวจสอบ Topic หรือ Tool ที่ถูกเรียก
8. หาจุดที่เลือกผิด
9. ปรับ Description หรือ Instructions
10. ทดสอบใหม่

ตัวอย่าง

ผู้ใช้ถามว่า:

“ตรวจสอบสถานะ Ticket IT-1001”

Agent กลับตอบขั้นตอนแจ้งซ่อมทั่วไป

หาก Activity Map แสดงว่า Agent ใช้ Knowledge คู่มือ Helpdesk แทน Tool สำหรับค้น Ticket ควรตรวจสอบว่า Tool มีชื่อและ Description ที่ชัดเจนหรือไม่

วิธีแก้

ตั้งชื่อ Tool:

GetTicketStatus

Description:

“Retrieve the current status of an existing IT support ticket using its ticket number. Use this tool for ticket status questions.”

ข้อควรระวัง

Activity Map แสดงการทำงานในระบบที่รองรับ แต่ไม่ได้หมายความว่าจะเปิดเผยเหตุผลภายในทุกขั้นตอนของโมเดล

🧩 วิธีแก้ Agent เลือก Topic ผิด

Topics ใช้กำหนดลำดับการสนทนาและงานเฉพาะ

หาก Topic มีชื่อหรือ Description คล้ายกัน Agent อาจเลือกผิดได้

ตัวอย่าง Topics

CreateTicket

สร้างรายการแจ้งซ่อม

CheckTicket

ตรวจสอบสถานะงาน

TroubleshootWiFi

ช่วยแก้ปัญหา Wi-Fi

ตัวอย่างปัญหา

ผู้ใช้ถามว่า:

“Ticket เดิมถึงขั้นตอนไหนแล้ว?”

แต่ Agent กลับเปิด Topic สำหรับสร้าง Ticket ใหม่

วิธีแก้

1. ตรวจสอบชื่อ Topic
2. ปรับ Description
3. ตรวจสอบ Trigger Phrases สำหรับรูปแบบที่ใช้
4. แยกหน้าที่ให้ชัดเจน
5. ตรวจสอบ Inputs
6. ใช้ Activity Map
7. ทดสอบคำถามหลายรูปแบบ

ตัวอย่าง Description

CreateTicket

“Use this topic only when the user wants to submit a new service request.”

CheckTicket

“Use this topic when the user wants to check an existing service request status.”

การระบุเงื่อนไขให้ชัดช่วยลดโอกาสเรียก Topic ผิดประเภท

🛠️ วิธีแก้ Copilot Agent ไม่เรียก Tool หรือตอบจากข้อมูลเก่า

Tools เหมาะสำหรับข้อมูลที่เปลี่ยนแปลงตลอดเวลา เช่น

• สถานะงาน
• จำนวนสินค้า
• ราคาล่าสุด
• ข้อมูลการสั่งซื้อ
• ข้อมูลการนัดหมาย
• รายการแจ้งซ่อม

ตัวอย่าง

ผู้ใช้ถาม:

“Ticket IT-1001 ซ่อมเสร็จหรือยัง?”

หาก Agent ใช้ Knowledge จากไฟล์รายงานเก่า อาจให้สถานะที่ล้าสมัย

วิธีแก้

ให้ Agent เรียก Tool ที่อ่านสถานะจากระบบจริง

ขั้นตอนตรวจสอบ

1. เปิด Tools
2. ตรวจสอบ Tool Name
3. ตรวจสอบ Description
4. ตรวจสอบ Connection
5. ตรวจสอบ Authentication
6. ตรวจสอบ Inputs
7. ตรวจสอบ Outputs
8. ทดสอบ Tool
9. ตรวจสอบข้อมูลต้นทาง
10. ทดสอบผ่าน Agent

ข้อควรระวัง

Agent ไม่ควรแจ้งสถานะงานจากการคาดเดา

หาก Tool ไม่ทำงาน ต้องแจ้งว่าไม่สามารถตรวจสอบข้อมูลได้ ไม่ใช่สร้างสถานะใหม่ขึ้นเอง

📥 วิธีแก้ Inputs และ Variables ผิด

บางครั้ง Agent เลือก Tool ถูกต้อง แต่ส่งข้อมูลผิด

ตัวอย่าง

ผู้ใช้แจ้งว่า:

“ต้องการแจ้งซ่อม Wi-Fi ชั้น 3”

Tool ต้องการ Inputs ดังนี้

Input	ค่าที่ต้องการ
IssueType	Wi-Fi
Location	ชั้น 3
Description	รายละเอียดอาการ
Priority	ตามข้อมูลที่ได้รับ

ตัวอย่างปัญหา

Agent ส่ง

Location = ชั้น 2

ทั้งที่ผู้ใช้แจ้งชั้น 3

วิธีตรวจสอบ

1. เปิด Test your agent
2. เปิด Variables
3. ดูค่าที่ Agent บันทึก
4. ตรวจสอบ Input Mapping
5. ตรวจสอบการส่งค่าระหว่าง Topics
6. แก้ตัวแปรที่ผิด
7. ทดสอบซ้ำ

วิธีลดความผิดพลาด

สำหรับงานที่สร้างข้อมูลจริง ควรแสดงสรุปข้อมูลก่อนให้ผู้ใช้ยืนยัน

หากต้องใช้ Customer ID หรือ Ticket Number ควรตรวจสอบรูปแบบและการมีอยู่จริง ไม่ควรให้ AI เดาข้อมูล

📁 SharePoint Knowledge ตอบผิด แก้อย่างไร?

SharePoint เป็น Knowledge Source สำคัญสำหรับ Agent ภายในองค์กร

สาเหตุที่พบบ่อย

• ผู้ใช้ไม่มีสิทธิ์อ่านเอกสาร
• เลือก SharePoint Site ผิด
• เอกสารมีหลายเวอร์ชัน
• Search Index ยังไม่พร้อม
• ไฟล์ไม่มีข้อมูลที่ต้องการ
• Knowledge Description ไม่ชัด

วิธีตรวจสอบ

1. เปิด Knowledge
2. ตรวจสอบ SharePoint Source
3. ตรวจสอบ Authentication
4. ตรวจสอบ SharePoint Permissions
5. เปิดเอกสารต้นทาง
6. ตรวจสอบเวอร์ชันเอกสาร
7. ทดสอบคำถามที่อยู่ในเอกสาร
8. ตรวจสอบ Citation
9. แก้ไขข้อมูลที่ผิด
10. ทดสอบใหม่

ข้อควรระวัง

การเปลี่ยน Instructions ไม่สามารถแก้ปัญหาที่เกิดจากผู้ใช้ไม่มีสิทธิ์อ่านเอกสารได้

ต้องแก้ Authentication หรือ Permissions ที่เกี่ยวข้องตามนโยบายองค์กร

🗄️ Dataverse Knowledge ตอบผิด แก้อย่างไร?

Dataverse ใช้กับข้อมูลธุรกิจแบบมีโครงสร้าง

ตัวอย่างปัญหา

Agent ตอบจำนวน Ticket ที่เปิดอยู่ไม่ครบ

สาเหตุที่เป็นไปได้

Generative Answers ค้นข้อมูลที่เกี่ยวข้อง แต่ไม่ได้ Query ทุก Row ตามเงื่อนไขที่ต้องการ

วิธีแก้

สำหรับคำถามที่ต้องการตัวเลขหรือรายการครบถ้วน ควรพิจารณาใช้ Dataverse Connector Tool

ตัวอย่างคำถามที่เหมาะกับ Tool

“จำนวน Ticket สถานะ Open ทั้งหมดวันนี้มีกี่รายการ?”

วิธีตรวจสอบ

1. ตรวจสอบ Dataverse Search
2. ตรวจสอบ Knowledge Source
3. ตรวจสอบ Security Roles
4. ตรวจสอบสิทธิ์ผู้ใช้
5. ตรวจสอบข้อมูลจริง
6. ตรวจสอบ Tool ที่เกี่ยวข้อง
7. ทดสอบ Query ตามเงื่อนไข
8. เปรียบเทียบผลลัพธ์

ข้อควรจำ

Generative Answers เหมาะกับการค้นหาและอธิบายข้อมูล

แต่การตรวจสอบจำนวนหรือสถานะธุรกิจที่ต้องแม่นยำ ควรใช้ Tool ที่ดึงข้อมูลจากระบบจริงตามเงื่อนไข

🌐 Public Website Knowledge ไม่พบข้อมูล แก้อย่างไร?

Copilot Studio สามารถใช้เว็บไซต์สาธารณะเป็น Knowledge ได้ตามความสามารถที่รองรับ

สาเหตุที่พบได้

1. หน้าเว็บยังไม่ถูกจัดทำดัชนี
2. เนื้อหาเข้าถึงไม่ได้โดยสาธารณะ
3. URL หรือขอบเขตเว็บไซต์ไม่ถูกต้อง
4. ข้อมูลอยู่ในส่วนที่ระบบค้นหาไม่พบ
5. เนื้อหาเพิ่งอัปเดต
6. คำถามไม่ตรงกับเนื้อหา

วิธีตรวจสอบ

1. เปิดหน้าเว็บต้นทาง
2. ตรวจสอบว่าไม่มี Login
3. ตรวจสอบข้อความที่ต้องการ
4. ตรวจสอบว่า Bing สามารถค้นพบหน้าได้
5. ตรวจสอบ URL ที่เพิ่มเป็น Knowledge
6. ตรวจสอบ Description
7. รอการอัปเดตดัชนีเมื่อจำเป็น
8. ทดสอบอีกครั้ง

ทำไมแก้หน้าเว็บแล้ว Agent ยังตอบข้อมูลเก่า?

เพราะการค้นหาจากเว็บไซต์สาธารณะอาศัยระบบค้นหาและดัชนี ซึ่งอาจไม่อัปเดตทันทีเมื่อเว็บไซต์เปลี่ยนเนื้อหา

🧠 วิธีแก้ Agent ตอบไม่ตรง Intent ของผู้ใช้

Intent คือความต้องการที่แท้จริงของผู้ถาม

ตัวอย่างคำถาม

“สาย Fiber Optic ใช้แบบไหนดี?”

คำถามนี้ยังไม่ระบุว่าใช้ในสถานการณ์ใด

Agent ที่เหมาะสมควรถามเพิ่ม

ตัวอย่าง:

“ต้องการใช้สายภายในอาคาร ภายนอกอาคาร หรือเชื่อมระหว่างอาคารครับ?”

ทำไมต้องถามเพิ่ม?

เพราะการแนะนำสาย Fiber Optic ต้องพิจารณาหลายเงื่อนไข เช่น

• สถานที่ติดตั้ง
• ระยะทาง
• จำนวน Core
• ประเภทสาย
• อุปกรณ์ปลายทาง
• สภาพแวดล้อม

วิธีตั้งค่า

เพิ่ม Instructions ให้ Agent สอบถามเมื่อข้อมูลสำคัญยังไม่ครบ

ตัวอย่าง:

“When the user’s request is ambiguous, ask one relevant clarification question before recommending technical equipment or performing an action.”

ข้อควรระวัง

ไม่ควรถามเพิ่มทุกคำถามโดยไม่จำเป็น

หากคำถามมีข้อมูลเพียงพอ ควรตอบตรงประเด็นทันที

🔍 วิธีลดคำตอบซ้ำ ยาวเกินไป หรือไม่ตรงประเด็น

ปัญหาที่พบบ่อยอีกอย่างคือ Agent ตอบยาว แต่ไม่ตอบสิ่งที่ผู้ใช้ถาม

ตัวอย่าง

ผู้ใช้ถาม:

“OTDR คืออะไร?”

แต่ Agent ตอบประวัติ Fiber Optic หลายย่อหน้าก่อนอธิบาย OTDR

วิธีแก้

เพิ่ม Instructions ที่กำหนดรูปแบบคำตอบ

ตัวอย่าง:

“Answer the user’s direct question in the first paragraph. Then provide supporting details only when relevant. Avoid unrelated background information.”

แนวทางคำตอบที่เหมาะสม

คำตอบสั้นก่อน

OTDR เป็นเครื่องมือสำหรับทดสอบและวิเคราะห์สาย Fiber Optic โดยใช้สัญญาณแสงเพื่อช่วยระบุตำแหน่งเหตุการณ์ต่างๆ ตามแนวสาย

ตามด้วยรายละเอียด

อธิบายการใช้งาน ข้อจำกัด และตัวอย่าง

ประโยชน์

ช่วยให้คำตอบเข้าใจง่ายและตรงกับ Intent มากขึ้น

🧪 วิธีสร้าง Test Cases สำหรับตรวจสอบความแม่นยำ

ไม่ควรทดสอบ Agent ด้วยคำถามเดียวแล้วสรุปว่าระบบพร้อมใช้งาน

ควรสร้างชุดคำถามที่ครอบคลุมหลายสถานการณ์

ตัวอย่าง Test Cases

ลำดับ	คำถาม	ผลที่ต้องการ
1	บริษัทรับติดตั้ง Wi-Fi ไหม?	ตอบจากข้อมูลบริการ
2	Fiber Optic คืออะไร?	ตอบจากข้อมูลเทคนิค
3	รับประกันงานกี่ปี?	ไม่เดาหากไม่มีข้อมูล
4	ตรวจ Ticket IT-1001	ใช้ Tool
5	Ticket ไม่มีอยู่จริง	แจ้งไม่พบ
6	ขอราคาติดตั้ง 500 เมตร	ไม่เดาราคาจริง
7	ขอดูข้อมูลลูกค้ารายอื่น	ตรวจสอบสิทธิ์
8	แจ้งซ่อมโดยไม่ระบุสถานที่	ถามเพิ่ม
9	ขอสร้าง Ticket	ขอข้อมูลและยืนยัน
10	ระบบ Tool ไม่ตอบ	แจ้งไม่สำเร็จ
11	ถามคำถามกำกวม	ถามให้ชัด
12	ถามนอกขอบเขต	จัดการตาม Instructions

ควรทดสอบกี่คำถาม?

ขึ้นอยู่กับจำนวน Knowledge, Topics และ Tools

สำหรับโครงการเริ่มต้น สามารถเตรียม 30–50 คำถามที่ครอบคลุมงานสำคัญ แล้วเพิ่มกรณีทดสอบตามปัญหาจริง

จำนวนดังกล่าวเป็นคำแนะนำในการวางแผน ไม่ใช่ข้อกำหนดของ Microsoft

📊 วิธีวัดความแม่นยำของ Copilot Agent

การวัดผลควรแยกหลายด้าน

Answer Accuracy

สัดส่วนคำตอบที่ถูกต้องจากชุดทดสอบ

Grounding Accuracy

ตรวจสอบว่าคำตอบตรงกับข้อมูลต้นทางหรือไม่

Tool Selection Accuracy

ตรวจสอบว่า Agent เลือก Tool เหมาะสม

Tool Success Rate

ตรวจสอบว่า Tool ดำเนินงานสำเร็จจริงหรือไม่

Permission Compliance

ตรวจสอบการไม่เปิดเผยข้อมูลเกินสิทธิ์

Fallback Quality

ตรวจสอบการตอบเมื่อไม่มีข้อมูล

ตัวอย่างการคำนวณ

สมมติทดสอบ 100 คำถาม

คำตอบถูกต้อง 88 ข้อ

Answer Accuracy = (88 ÷ 100) × 100

Answer Accuracy = 88%

ตัวเลขนี้เป็นผลจากชุดทดสอบสมมติ ไม่ใช่ค่ารับประกันของ Copilot Studio

ต้องดูอะไรเพิ่มเติม?

คำตอบที่ผิด 12 ข้อควรถูกจัดประเภทตามสาเหตุ

เช่น Knowledge ไม่ครบ 5 ข้อ เลือก Tool ผิด 3 ข้อ สรุปข้อมูลผิด 4 ข้อ

เมื่อรู้สาเหตุแล้ว จะสามารถแก้ไขได้ตรงจุด

📈 วิธีใช้ Monitor และ Analytics หาคำถามที่ AI ตอบผิด

หลัง Publish Agent แล้ว ควรใช้ข้อมูลจากการสนทนาจริงเพื่อติดตามปัญหา

ขั้นตอน

1. เปิด Copilot Studio
2. เลือก Agent
3. เปิด Monitor
4. ตรวจสอบช่วงเวลา
5. ดู Generated Answer Rate และ Quality ตามความสามารถที่รองรับ
6. ตรวจสอบ Knowledge Source Use
7. ตรวจสอบ Tool Use
8. วิเคราะห์คำถามที่มี Feedback เชิงลบ
9. เปิดรายละเอียด Sessions ตามสิทธิ์
10. บันทึกข้อผิดพลาด
11. แก้ไข Agent
12. ทดสอบและ Publish ใหม่

ตัวชี้วัดที่ควรดู

• จำนวนคำถามที่ตอบไม่ได้
• คำตอบที่ถูกประเมินว่ามีคุณภาพต่ำ
• Knowledge ที่ค้นหาแล้วผิดพลาด
• Tool ที่เรียกไม่สำเร็จ
• จำนวน Escalations
• Customer Satisfaction
• Feedback จากผู้ใช้

ข้อควรระวัง

Analytics เป็นข้อมูลประกอบการวิเคราะห์ ไม่ควรใช้ตัวเลขเพียงตัวเดียวเพื่อสรุปว่าคำตอบทั้งหมดถูกต้อง

🏢 ตัวอย่างแก้ Copilot Agent ตอบผิดสำหรับธุรกิจบริการ IT

สมมติบริษัทมี Agent ชื่อ

IT Customer Assistant

ปัญหาที่พบ

ลูกค้าถาม:

“รับเดินสาย LAN ในขอนแก่นไหม?”

Agent ตอบ:

“สาย LAN CAT6 รองรับความเร็วสูงและเหมาะกับสำนักงาน”

วิเคราะห์สาเหตุ

คำตอบเป็นข้อมูลเทคนิค แต่ไม่ได้ตอบเรื่องพื้นที่ให้บริการ

ขั้นตอนแก้ไข

1. ตรวจ Knowledge

ตรวจสอบว่ามีรายละเอียดพื้นที่ให้บริการจริงหรือไม่

2. แยกข้อมูลบริการกับข้อมูลเทคนิค

สร้างหรือปรับ Knowledge ให้มีขอบเขตชัดเจน

3. ปรับ Description

ระบุว่า Company Services ใช้สำหรับคำถามเกี่ยวกับบริการและพื้นที่ให้บริการ

4. ปรับ Instructions

ให้ Agent ตอบเรื่องบริการจากข้อมูลบริษัท ไม่ใช่จากคู่มือเทคนิค

5. ทดสอบ

ทดลองคำถามเดิม

6. ตรวจ Activity Map

ดูว่าเลือก Knowledge ถูกหรือไม่

7. ตรวจคำตอบ

หากไม่มีข้อมูลพื้นที่ให้บริการ ควรแจ้งว่าไม่สามารถยืนยันพื้นที่นั้นได้จากข้อมูลที่มี

ผลลัพธ์ที่ต้องการ

Agent ตอบตรงกับคำถามและไม่สร้างรายละเอียดพื้นที่ให้บริการขึ้นเอง

🔧 ตัวอย่างแก้ Agent ตอบผิดเรื่อง Fiber Optic

คำถาม

“Optical Loss ของสาย Fiber Optic ควรอยู่ที่เท่าไร?”

ตัวอย่างคำตอบที่มีปัญหา

“ต้องไม่เกิน 1 dB เสมอ”

คำตอบนี้ไม่เหมาะสม เพราะเกณฑ์ Optical Loss ขึ้นอยู่กับระบบ อุปกรณ์ ความยาวสาย จำนวน Connector และมาตรฐานหรือข้อกำหนดโครงการ

วิธีแก้

1. เพิ่มเอกสาร Optical Budget
2. เพิ่มคู่มือ OTDR
3. เพิ่มเกณฑ์ตรวจรับขององค์กร
4. ตรวจสอบตัวเลขใน Knowledge
5. เขียน Instructions ให้ระบุเงื่อนไขก่อนตอบ
6. ทดสอบคำถามตัวเลข
7. ตรวจสอบ Citations

ตัวอย่างคำตอบที่เหมาะสม

“ค่า Optical Loss ที่ยอมรับได้ต้องพิจารณาจาก Optical Budget และเกณฑ์ตรวจรับของระบบ ไม่สามารถใช้ตัวเลขเดียวกับทุกโครงการได้”

หลักการ

สำหรับคำตอบทางเทคนิคที่มีผลต่อการติดตั้งจริง ควรใช้เอกสารมาตรฐานหรือข้อมูลอุปกรณ์ที่ตรวจสอบได้ และไม่เดาค่าตัวเลข

⚠️ 20 ปัญหา Copilot Studio ตอบผิดที่พบบ่อย พร้อมวิธีแก้

1. ตอบไม่ตรงคำถาม

ปรับ Instructions และตรวจ Intent

2. ตอบมั่ว

ตรวจ Knowledge และ Grounding

3. ตอบจากความรู้ทั่วไป

ตรวจ Generative AI Settings

4. ใช้ Knowledge ผิดชุด

ปรับ Description

5. ไม่พบเอกสาร

ตรวจ Knowledge Source และ Search

6. ตอบจากเอกสารเก่า

ปรับข้อมูลต้นทางและตรวจ Synchronization

7. SharePoint ตอบไม่ได้

ตรวจ Authentication และ Permissions

8. Dataverse ตอบไม่ครบ

ใช้ Tool สำหรับ Query ที่ต้องการผลครบถ้วน

9. Public Website ไม่พบหน้า

ตรวจ URL และ Search Index

10. Citations ผิด

ตรวจเอกสารต้นทางและการตีความ

11. ไม่แสดง Citations

ตรวจ Channel และการตั้งค่า Generative Answers

12. เลือก Topic ผิด

ปรับ Topic Description

13. ไม่เรียก Tool

ตรวจ Tool Description

14. เรียก Tool ผิด

แยกหน้าที่ Tools

15. ส่ง Inputs ผิด

ตรวจ Variables และ Input Mapping

16. Tool ทำงานแต่ตอบผิด

ตรวจ Outputs

17. ตอบข้อมูลลูกค้าเกินสิทธิ์

ตรวจ Authorization และ Connections ทันที

18. ตอบยาวเกินไป

กำหนดให้ตอบตรงประเด็นก่อน

19. ไม่ถามข้อมูลเพิ่มเติม

เพิ่มเงื่อนไขสำหรับคำถามกำกวม

20. ทดสอบผ่านแต่ใช้งานจริงผิด

ตรวจ Channel, Publish Version, Authentication และ Connections

📋 Checklist ก่อน Publish Agent ที่ต้องการคำตอบแม่นยำ

รายการ	สิ่งที่ต้องตรวจสอบ
Knowledge	ถูกต้อง
Knowledge Status	พร้อมใช้งาน
Knowledge Description	ชัดเจน
Instructions	ไม่ขัดแย้ง
General Knowledge	ตรงนโยบาย
Web Search	เหมาะสม
Ungrounded Responses	ตั้งค่าถูกต้อง
Citations	ตรวจสอบแล้ว
Topics	เลือกถูกต้อง
Tools	ใช้งานได้
Input Mapping	ถูกต้อง
Output Handling	ใช้ข้อมูลจริง
Authentication	เหมาะสม
Permissions	ตรวจสอบแล้ว
Hallucination Tests	ผ่าน
Test Cases	ครอบคลุม
Activity Map	ตรวจสอบแล้ว
Monitor	พร้อมติดตาม
Publish	เวอร์ชันล่าสุด

📈 10 เทคนิคทำให้ Copilot Studio ตอบแม่นยำขึ้น

1. ใช้ Knowledge ที่ถูกต้องและเป็นปัจจุบัน

2. ตั้งชื่อ Sources ให้ชัดเจน

3. เขียน Description ตรง Intent

4. ลดเอกสารซ้ำหรือขัดแย้ง

5. กำหนด Instructions ให้มีขอบเขต

6. ให้ Agent แจ้งเมื่อไม่มีข้อมูล

7. ตรวจ Citations ก่อนเชื่อคำตอบสำคัญ

8. ใช้ Tools สำหรับข้อมูลที่เปลี่ยนตลอด

9. ตรวจ Activity Map เมื่อเลือกข้อมูลผิด

10. ทดสอบซ้ำและติดตาม Analytics

เป้าหมายไม่ใช่บังคับให้ Agent ตอบได้ทุกคำถาม แต่คือให้ระบบตอบอย่างถูกต้องเมื่อมีข้อมูลเพียงพอ และแจ้งข้อจำกัดเมื่อไม่มีข้อมูลที่เชื่อถือได้

❓ คำถามที่พบบ่อยเกี่ยวกับ Copilot Studio ตอบผิด

Copilot Studio ตอบผิดแก้อย่างไร?

ตรวจ Knowledge, Description, Instructions, Generative AI Settings แล้วใช้ Test your agent และ Activity Map วิเคราะห์สาเหตุ

ทำไม Copilot Studio ตอบมั่ว?

อาจเกิดจากข้อมูลไม่ครบ การค้นหาไม่ตรง หรือการสร้างคำตอบที่ไม่ได้รับการยืนยันจาก Knowledge

Hallucination คืออะไร?

คือการสร้างรายละเอียดที่ดูน่าเชื่อถือแต่ไม่มีหลักฐานที่เหมาะสมหรือขัดแย้งกับข้อมูลจริง

Copilot Studio ลด Hallucination ได้ไหม?

สามารถลดความเสี่ยงผ่าน Knowledge, Grounding, Instructions และการทดสอบ แต่ไม่สามารถรับประกันว่าจะไม่มีข้อผิดพลาดทั้งหมด

ทำไม Agent ใช้ Knowledge ผิด?

อาจเกิดจาก Name หรือ Description ไม่ชัดเจน หรือมีข้อมูลซ้ำกันหลายแหล่ง

Knowledge Description สำคัญไหม?

สำคัญ เพราะช่วยให้ Generative Orchestration เลือกแหล่งข้อมูลที่เหมาะสม

Copilot Studio ปิดความรู้ทั่วไปได้ไหม?

มีตัวเลือกควบคุม AI General Knowledge ตามความสามารถที่รองรับ

Allow ungrounded responses คืออะไร?

เป็นการตั้งค่าอนุญาตให้ Agent สร้างคำตอบที่ไม่ได้ยึดกับ Knowledge หรือ Tool ตามเงื่อนไขที่ระบบกำหนด

ปิด Ungrounded Responses แล้วแม่นยำ 100% ไหม?

ไม่ใช่ ยังต้องตรวจคุณภาพข้อมูลและการตีความของโมเดล

Copilot Studio ใช้ Citations ได้ไหม?

ได้ตามประเภท Knowledge และ Channel ที่รองรับ

มี Citation หมายความว่าคำตอบถูกต้องไหม?

ไม่เสมอไป ต้องตรวจสอบว่าข้อมูลรองรับข้อความที่ AI ตอบจริง

Copilot Studio ใช้ Activity Map ได้ไหม?

ได้สำหรับ Agent แบบ Standard Harness ที่ใช้ Generative Orchestration ตามความสามารถที่รองรับ

Activity Map ช่วยอะไร?

ช่วยดูว่า Agent เลือก Knowledge, Topics และ Tools ใดระหว่างทดสอบ

ทำไม Copilot Studio ไม่เรียก Tool?

อาจเกิดจาก Tool Description ไม่ชัดเจนหรือ Inputs ไม่ครบ

Copilot Studio ตรวจสถานะ Ticket ได้ไหม?

ได้เมื่อเชื่อม Tool กับระบบ Ticket จริง และมีสิทธิ์เหมาะสม

SharePoint ตอบไม่ตรงต้องทำอย่างไร?

ตรวจ Permissions, Knowledge Source, เอกสารต้นทางและสถานะการค้นหา

Dataverse ตอบจำนวนรายการผิดทำอย่างไร?

ใช้ Connector Tool สำหรับ Query แบบมีโครงสร้างเมื่อจำเป็นต้องได้ผลรวมครบถ้วน

เว็บไซต์เพิ่งอัปเดต แต่ Agent ยังตอบข้อมูลเก่า ทำไม?

ระบบค้นหาและดัชนีอาจยังไม่อัปเดตตามเนื้อหาใหม่

Instructions ยิ่งยาวยิ่งดีไหม?

ไม่จำเป็น ควรเขียนให้ชัดเจน ไม่ซ้ำซ้อน และตรงกับหน้าที่ของ Agent

Copilot Studio ใช้ภาษาไทยแล้วตอบผิดได้ไหม?

ได้เช่นเดียวกับภาษาอื่น ควรตรวจ Knowledge และทดสอบคำถามภาษาไทยจริง

ต้องทดสอบกี่คำถามก่อน Publish?

ไม่มีจำนวนเดียวที่เหมาะกับทุกระบบ ควรเลือกชุดทดสอบที่ครอบคลุม Intent และกรณีผิดพลาดสำคัญ

Copilot Studio ดูคำตอบที่มีคุณภาพต่ำได้ไหม?

ได้ผ่าน Monitor และ Analytics ตามความสามารถที่รองรับ

ทำไม Agent ตอบต่างกันเมื่อถามซ้ำ?

คำตอบจากโมเดลภาษาไม่จำเป็นต้องเหมือนเดิมทุกครั้ง และบริบทบทสนทนาอาจส่งผลต่อคำตอบ

✅ สรุป Copilot Studio ตอบผิดหรือตอบไม่ตรงคำถาม แก้อย่างไร?

หาก Microsoft Copilot Studio ตอบผิด ควรเริ่มจากตรวจสอบว่า Agent มีข้อมูลที่ถูกต้องและเข้าถึงได้จริงหรือไม่ ก่อนแก้ไข Instructions หรือเปลี่ยนการตั้งค่า Generative AI

ปัญหาส่วนใหญ่อาจเกี่ยวข้องกับ Knowledge Sources, Description, Search Index, General Knowledge, Generative Orchestration หรือ Tools ที่เลือกใช้

สำหรับข้อมูลบริษัท ควรใช้ Knowledge ที่ได้รับอนุมัติและกำหนดให้ Agent แจ้งเมื่อไม่มีข้อมูลที่ยืนยันได้

สำหรับข้อมูลที่เปลี่ยนตลอด เช่น สถานะ Ticket ราคา และจำนวนสินค้า ควรใช้ Tools ที่ดึงข้อมูลจากระบบจริง

นอกจากนี้ควรใช้ Test your agent, Activity Map และ Analytics เพื่อตรวจสอบสาเหตุ แก้ไขอย่างเป็นระบบ และทดสอบคำถามเดิมหลังปรับปรุง

comsiam แนะนำให้ใช้แนวทาง บันทึกคำถามที่ตอบผิด → ตรวจข้อมูลต้นทาง → ตรวจ Knowledge → ปรับ Description → ตรวจ Instructions → ตรวจ Generative AI Settings → ตรวจ Topics และ Tools → ทดสอบ Activity Map → ตรวจคำตอบ → Publish → Monitor

การแก้ปัญหา Copilot Studio อย่างถูกวิธีจะช่วยให้ AI Agent ตอบคำถามตรงประเด็นขึ้น ลดการสร้างข้อมูลผิด และเพิ่มความน่าเชื่อถือในการใช้งานกับลูกค้าและพนักงานในระยะยาว