วิธีใช้ Siri AI อ่านและเข้าใจสิ่งที่อยู่บนหน้าจอ iPhone 18 Pro

Siri AI บน iPhone 18 Pro สามารถใช้สิ่งที่กำลังแสดงอยู่บนหน้าจอเป็นบริบทเพื่อช่วยตอบคำถามหรือดำเนินการต่อได้ ความสามารถนี้ช่วยลดการคัดลอกข้อความ การสลับแอป และการพิมพ์ข้อมูลซ้ำ เหมาะกับงานอย่างสรุปบทความ อ่านรายละเอียดนัดหมาย สร้าง Reminder หรือดึงข้อมูลจากข้อความที่กำลังเปิดอยู่

จุดสำคัญคือ Siri AI ไม่ได้เพียง “มองเห็น” หน้าจอ แต่สามารถใช้ On-Screen Awareness ร่วมกับ Apple Intelligence เพื่อเข้าใจบริบทของข้อมูลที่กำลังแสดง และนำไปใช้กับ Action ต่อไปได้ในฟีเจอร์ที่รองรับ

① On-Screen Awareness คืออะไร

On-Screen Awareness คือความสามารถที่ช่วยให้ Siri AI เข้าใจสิ่งที่ผู้ใช้กำลังดูอยู่บนหน้าจอ

ตัวอย่างเช่น หากเปิดอีเมลอยู่ สามารถพูดว่า

“สรุปอีเมลนี้”

หรือถ้าเปิดข้อความที่มีวันนัด สามารถพูดว่า

“เพิ่มวันที่นี้ลง Calendar”

โดยไม่จำเป็นต้องคัดลอกข้อความเอง

② Siri AI อ่านอะไรบนหน้าจอได้บ้าง

ขึ้นอยู่กับแอปและประเภทข้อมูลที่รองรับ เช่น

• ข้อความ
• อีเมล
• เว็บไซต์
• Notes
• ข้อมูลในแอป
• รูปภาพ
• Screenshot
• รายละเอียดกิจกรรม
• ที่อยู่
• วันและเวลา

ความสามารถจริงอาจต่างกันตามแอป ภาษา และเวอร์ชัน iOS

③ วิธีเริ่มใช้ Siri AI กับหน้าจอ

เปิดหน้าที่ต้องการก่อน

เช่น

• บทความ
• อีเมล
• Messages
• Notes
• Screenshot

จากนั้นเรียก Siri แล้วพูดหรือพิมพ์คำสั่งเกี่ยวกับสิ่งที่เห็นบนหน้าจอ

ตัวอย่าง

“Summarize this.”

หรือ

“What is this about?”

④ วิธีสรุปข้อความบนหน้าจอ

ถ้าเปิดข้อความยาว ลองสั่งว่า

“สรุปหน้านี้”

“สรุปเป็น 5 ข้อ”

“เอาเฉพาะสาระสำคัญ”

เหมาะกับบทความ อีเมล เอกสาร หรือ Notes ที่ยาวมาก

⑤ วิธีหา Action Item จากข้อความบนหน้าจอ

ถ้าข้อความมีงานที่ต้องทำ ลองพูดว่า

“มีอะไรที่ฉันต้องทำบ้าง”

หรือ

“ดึง Action Item จากข้อความนี้”

จากนั้นสามารถสั่งต่อว่า

“สร้าง Reminder จากข้อเหล่านี้”

ช่วยเปลี่ยนข้อมูลบนหน้าจอเป็นงานที่ทำต่อได้ทันที

⑥ วิธีสร้าง Calendar จากข้อมูลบนหน้าจอ

ถ้าเปิดข้อความที่มีวัน เวลา หรือกิจกรรม ลองสั่งว่า

“เพิ่มอันนี้ลง Calendar”

หรือ

“สร้างกิจกรรมจากข้อมูลนี้”

Siri AI สามารถใช้ข้อมูลที่อยู่บนหน้าจอช่วยกรอก Calendar ให้ในฟีเจอร์ที่รองรับ

⑦ วิธีสร้าง Reminder จากข้อมูลบนหน้าจอ

ตัวอย่าง

เปิดอีเมลที่ระบุว่า

“ส่งเอกสารก่อนวันศุกร์”

แล้วพูดว่า

“เตือนฉันเรื่องนี้ก่อนวันศุกร์หนึ่งวัน”

ช่วยลดการเปิด Reminders แล้วกรอกเอง

⑧ วิธีใช้กับ Mail

เปิดอีเมลแล้วถามได้ เช่น

“สรุปอีเมลนี้”

“Deadline คือวันไหน”

“ฉันต้องตอบอะไร”

“ช่วยร่างคำตอบให้หน่อย”

ทำให้ Mail เป็นหนึ่งในแอปที่ได้ประโยชน์จาก On-Screen Awareness มากที่สุด

⑨ วิธีใช้กับ Messages

ถ้าเปิดข้อความอยู่ สามารถถามว่า

“ข้อความนี้พูดถึงอะไร”

“มีวันนัดไหม”

“เพิ่มที่อยู่นี้ใน Contacts”

หรือ

“ช่วยตอบแบบสุภาพ”

เหมาะกับแชตที่มีข้อมูลสำคัญปนอยู่หลายบรรทัด

⑩ วิธีใช้กับ Safari

เปิดเว็บไซต์แล้วลองพูดว่า

“สรุปหน้านี้”

“อธิบายบทความนี้แบบง่าย ๆ”

“ข้อไหนสำคัญที่สุด”

“เปรียบเทียบข้อมูลในหน้านี้กับสิ่งที่ฉันถามก่อนหน้า”

ช่วยให้ใช้ Safari เพื่อค้นคว้าได้เร็วขึ้น

⑪ วิธีใช้กับ Notes

ถ้าเปิดโน้ตยาว สามารถสั่งว่า

“สรุปโน้ตนี้”

“จัดเป็น Checklist”

“เอาเฉพาะงานที่ต้องทำ”

หรือ

“ช่วยเขียนใหม่ให้อ่านง่ายขึ้น”

เหมาะกับโน้ตประชุมและรายการงาน

⑫ วิธีใช้กับ Screenshot

หากมี Screenshot ที่มีข้อความหรือข้อมูล สามารถเปิดภาพแล้วถามว่า

“อ่านข้อความนี้ให้หน่อย”

“สรุปภาพนี้”

“มีวันนัดอยู่ไหม”

“ค้นหาสินค้าในภาพนี้”

Screenshot เป็นอีกวิธีที่สะดวกเมื่อข้อมูลมาจากแอปที่ Siri เข้าถึงตรง ๆ ไม่ได้มากนัก

⑬ วิธีใช้กับรูปภาพ

ถ้าเปิดรูปใน Photos สามารถถามเกี่ยวกับสิ่งที่อยู่ในภาพได้ในฟีเจอร์ที่รองรับ

เช่น

“นี่คืออะไร”

“มีข้อความอะไรอยู่ในภาพ”

“ช่วยแปลข้อความในภาพ”

หรือ

“หารูปคล้ายกัน”

⑭ วิธีใช้กับเอกสาร

ถ้าเปิด PDF หรือเอกสารบนหน้าจอ สามารถถามว่า

“สรุปหน้านี้”

“ข้อกำหนดสำคัญมีอะไรบ้าง”

“มีวันที่สำคัญตรงไหน”

เหมาะกับเอกสารที่ต้องอ่านเร็ว แต่ข้อมูลสำคัญควรตรวจต้นฉบับอีกครั้ง

⑮ Siri AI เข้าใจลิงก์บนหน้าจอได้ไหม

ในบางกรณี Siri AI สามารถใช้ข้อมูลจากหน้าเว็บหรือแอปเป็นบริบทได้

หากต้องการให้ช่วยกับลิงก์หรือหน้าเว็บ ลองถามว่า

“ลิงก์นี้เกี่ยวกับอะไร”

หรือ

“สรุปเว็บไซต์นี้”

ความสามารถจริงขึ้นอยู่กับแอปและสิทธิ์ที่รองรับ

⑯ ใช้คำว่า “อันนี้” หรือ “หน้านี้” ได้ไหม

ได้ในหลายกรณี

เช่น

“สรุปอันนี้”

“เพิ่มอันนี้ลง Calendar”

“อธิบายหน้านี้”

เพราะ Siri AI สามารถใช้สิ่งที่อยู่บนหน้าจอเป็นบริบท

อย่างไรก็ตาม ถ้าหน้าจอมีหลายสิ่ง ควรระบุให้ชัดขึ้น

⑰ ถ้าหน้าจอมีข้อมูลหลายส่วนทำอย่างไร

ใช้คำสั่งเจาะจง เช่น

“สรุปเฉพาะย่อหน้าล่าง”

หรือ

“ดูเฉพาะวันที่ในข้อความนี้”

ยิ่งระบุส่วนชัด Siri AI ยิ่งมีโอกาสตีความตรง

⑱ ใช้ต่อเนื่องจากหน้าจอได้อย่างไร

ตัวอย่าง

เปิดบทความแล้วถาม

“สรุปหน้านี้”

จากนั้น

“เอาเฉพาะ 3 ข้อสำคัญ”

แล้วถามต่อ

“สร้างโน้ตจาก 3 ข้อนี้”

นี่คือการใช้ On-Screen Awareness ร่วมกับ Conversation Context

⑲ ใช้กับข้อมูลส่วนตัวได้ไหม

ได้ในฟีเจอร์ที่รองรับ

เช่น เปิดข้อความจากลูกค้าแล้วถาม

“มีนัดอะไรในข้อความนี้”

หรือ

“ช่วยสร้าง Reminder จากข้อความนี้”

แต่ควรระวังข้อมูลที่ละเอียดอ่อน

⑳ ใช้กับข้อมูลธนาคารได้ไหม

ไม่แนะนำให้ใช้ AI กับข้อมูลสำคัญมากเกินจำเป็น

หากหน้าจอมี

• OTP
• PIN
• Password
• CVV
• Recovery Code

ไม่ควรสั่ง AI ให้ประมวลผลหรือส่งต่อข้อมูลเหล่านี้

สำหรับธุรกรรมสำคัญควรใช้แอปต้นทางโดยตรง

㉑ ถ้า Siri อ่านหน้าจอผิดควรทำอย่างไร

ลอง

• ซูมข้อความ
• เปิดข้อมูลให้ชัด
• เลื่อนให้ส่วนสำคัญอยู่บนหน้าจอ
• ระบุสิ่งที่ต้องการให้ชัด
• ใช้ Screenshot หากจำเป็น

บางครั้ง Layout ซับซ้อนอาจทำให้ตีความยาก

㉒ ใช้ Type to Siri ช่วยได้ไหม

ช่วยได้มาก

โดยเฉพาะคำสั่งแบบ

“Summarize only the section under Pricing.”

หรือ

“Create a reminder from the deadline shown here.”

การพิมพ์ช่วยให้กำหนดขอบเขตได้ชัดกว่าพูด

㉓ Siri AI ส่งข้อมูลบนหน้าจอไป Cloud หรือไม่

ขึ้นอยู่กับคำขอ

บางงานสามารถประมวลผลบนอุปกรณ์ แต่คำขอซับซ้อนอาจใช้ Private Cloud Compute

หากเลือกใช้ ChatGPT ข้อมูลที่เกี่ยวข้องกับคำขออาจถูกส่งไปยังบริการภายนอกตามที่ผู้ใช้อนุญาต

ดังนั้นควรตรวจสิ่งที่อยู่บนหน้าจอก่อนสั่งงาน

㉔ ใช้กับ ChatGPT ได้ไหม

ได้ในกรณีที่เปิด ChatGPT Extension

ตัวอย่าง

เปิดภาพหรือข้อความแล้วถามว่า

“Ask ChatGPT to explain this.”

แต่ควรตรวจสอบก่อนว่ามีข้อมูลส่วนตัวหรือข้อมูลธุรกิจลับอยู่บนหน้าจอหรือไม่

㉕ ใช้กับ Visual Intelligence ต่างกันอย่างไร

On-Screen Awareness เน้นสิ่งที่กำลังแสดงบนหน้าจอ

ส่วน Visual Intelligence สามารถใช้กับสิ่งที่กล้องเห็น รูป และ Screenshot ได้ด้วย

ทั้งสองฟีเจอร์สามารถทำงานร่วมกันในบางสถานการณ์

㉖ ตัวอย่างคำสั่งที่ควรลอง

“Summarize this page.”

“Explain this in simple terms.”

“Add this date to my calendar.”

“Create a reminder from this.”

“Who sent this message?”

“Translate the text on this screen.”

“Find the action items.”

คำสั่งเหล่านี้เป็นตัวอย่างที่เห็นประโยชน์ของ On-Screen Awareness ชัดเจน

㉗ ใช้กับงานประจำวันอย่างไร

ตัวอย่าง Workflow

เปิดอีเมลลูกค้า

พูดว่า

“สรุปอีเมลนี้”

ต่อด้วย

“มีอะไรที่ต้องทำ”

จากนั้น

“สร้าง Reminder จากทุกข้อ”

ช่วยลดการเปิดหลายแอปและพิมพ์ข้อมูลซ้ำ

㉘ ใช้กับการเรียนได้อย่างไร

เปิดบทความหรือเอกสารแล้วถาม

“อธิบายหน้านี้แบบมือใหม่”

ต่อด้วย

“ยกตัวอย่าง 3 แบบ”

แล้ว

“สรุปเป็นโน้ตสำหรับอ่านสอบ”

ช่วยเปลี่ยนเนื้อหาบนหน้าจอเป็นรูปแบบที่เข้าใจง่ายขึ้น

㉙ ใช้กับงานธุรกิจอย่างไร

สามารถใช้กับ

• อีเมลลูกค้า
• ใบเสนอราคา
• ตารางนัด
• Brief งาน
• Notes ประชุม

แต่ข้อมูลสำคัญอย่างราคา วันที่ และเงื่อนไขสัญญาควรตรวจต้นฉบับก่อนนำไปใช้

㉚ On-Screen Awareness ใช้งานไม่ได้ แก้อย่างไร

ให้ตรวจ

• Apple Intelligence เปิดหรือไม่
• Siri AI พร้อมหรือไม่
• iOS อัปเดตล่าสุดหรือไม่
• ภาษา Siri รองรับหรือไม่
• แอปรองรับหรือไม่
• สิทธิ์ Privacy ถูกต้องหรือไม่

จากนั้นลองรีสตาร์ตเครื่องและทดสอบในแอปของ Apple เช่น Mail หรือ Notes ก่อน

㉛ วิธีใช้ให้แม่นที่สุด

ใช้หลัก 3 อย่าง

เปิดเฉพาะข้อมูลที่ต้องการ

ลดสิ่งรบกวนบนหน้าจอ

ระบุ Action ให้ชัด

เช่น “สรุป”, “เพิ่ม Calendar”, “สร้าง Reminder”

ตรวจผลลัพธ์

โดยเฉพาะชื่อ วันที่ เวลา ที่อยู่ และตัวเลข

วิธีนี้ช่วยลดข้อผิดพลาด

㉜ สรุป วิธีใช้ Siri AI อ่านและเข้าใจสิ่งที่อยู่บนหน้าจอ iPhone 18 Pro

Siri AI บน iPhone 18 Pro สามารถใช้สิ่งที่อยู่บนหน้าจอเป็นบริบท เพื่อช่วยลดขั้นตอนการใช้งานได้อย่างมาก

สามารถนำไปใช้กับ

• Mail
• Messages
• Safari
• Notes
• Photos
• Screenshot
• เอกสาร
• Calendar
• Reminders

ตัวอย่างคำสั่งง่าย ๆ อย่าง “สรุปหน้านี้”, “เพิ่มอันนี้ลง Calendar” หรือ “สร้าง Reminder จากข้อความนี้” สามารถเปลี่ยนข้อมูลที่กำลังดูให้กลายเป็น Action ได้ทันที

จุดสำคัญคือควรเปิดเฉพาะข้อมูลที่ต้องการให้ Siri ใช้ ตรวจผลลัพธ์ก่อนดำเนินการ และหลีกเลี่ยงการใช้ AI กับรหัสผ่านหรือข้อมูลการเงินที่ละเอียดอ่อนโดยไม่จำเป็น