วิธีตั้งค่า Robots.txt สำหรับ WordPress

Robots.txt คือไฟล์ข้อความที่บอกโปรแกรมรวบรวมข้อมูลว่าควรเข้าถึงส่วนใดของเว็บไซต์ได้บ้าง สำหรับ WordPress ไฟล์นี้อาจถูกสร้างแบบเสมือนโดยระบบ หรือเป็นไฟล์จริงที่วางไว้ในโฟลเดอร์หลักของเว็บไซต์

ก่อนแก้ไข ควรตรวจ Robots.txt ที่เว็บไซต์ใช้อยู่จริง เพราะการตั้งค่าผิดอาจบล็อก Google ไม่ให้เข้าถึงหน้าเว็บหรือไฟล์ที่จำเป็น

❶ ตรวจ Robots.txt ปัจจุบัน

เปิดโดเมนเว็บไซต์แล้วต่อท้ายด้วย /robots.txt เพื่อดูไฟล์ที่ตอบกลับ ตรวจว่าหน้าเปิดได้และเนื้อหาที่แสดงตรงกับระบบที่คุณตั้งใจใช้

① ตรวจว่าเป็นไฟล์จาก WordPress หรือไฟล์จริง

WordPress สามารถสร้าง Robots.txt แบบเสมือนได้ หากมีไฟล์จริงอยู่ในโฟลเดอร์หลักของเว็บไซต์ เซิร์ฟเวอร์อาจแสดงไฟล์จริงแทนไฟล์เสมือน ดังนั้นควรตรวจทั้งในหน้าเว็บและ File Manager ของโฮสติ้ง

② ตรวจว่ามีปลั๊กอินจัดการ Robots.txt หรือไม่

หากใช้ปลั๊กอิน SEO หรือปลั๊กอินอื่นแก้ไข Robots.txt ให้ตรวจการตั้งค่าในปลั๊กอินนั้นด้วย หลีกเลี่ยงการแก้ไขหลายแห่งพร้อมกัน เพราะอาจทำให้ไม่แน่ใจว่าไฟล์ที่ Google อ่านมาจากแหล่งใด

❷ เลือกวิธีแก้ไขให้เหมาะกับเว็บไซต์

คุณแก้ Robots.txt ได้ผ่านเครื่องมือที่เว็บไซต์ใช้งานอยู่ เช่น ตัวแก้ไขของปลั๊กอิน SEO หรือ File Manager ของโฮสติ้ง ตำแหน่งเมนูแตกต่างกันตามปลั๊กอินและผู้ให้บริการโฮสติ้ง

① แก้ผ่านปลั๊กอิน

หากปลั๊กอินที่ใช้อยู่มีส่วนจัดการ Robots.txt ให้เปิดหน้านั้น ตรวจเนื้อหาปัจจุบัน แล้วแก้เฉพาะกฎที่จำเป็น หลังบันทึก ให้เปิด /robots.txt อีกครั้งเพื่อยืนยันว่าการเปลี่ยนแปลงมีผลจริง

② แก้ผ่าน File Manager

หากแก้ผ่านโฮสติ้ง ให้วางหรือแก้ไฟล์ robots.txt ในโฟลเดอร์หลักของเว็บไซต์ ตรวจให้แน่ใจว่าเป็นโฟลเดอร์ของโดเมนที่ถูกต้อง แล้วเปิด URL ของไฟล์เพื่อตรวจเนื้อหาหลังบันทึก

ก่อนแก้ไฟล์จริง ควรเก็บสำเนาเนื้อหาเดิมไว้ เพื่อย้อนกลับได้หากเว็บไซต์ถูกบล็อกโดยไม่ตั้งใจ

❸ กำหนดกฎอย่างระมัดระวัง

เพิ่มเฉพาะกฎที่จำเป็นต่อการควบคุมการรวบรวมข้อมูล ไม่ควรคัดลอกกฎจากเว็บไซต์อื่นมาใช้ทั้งหมด เพราะโครงสร้างเว็บไซต์และความต้องการของแต่ละแห่งไม่เหมือนกัน

① อย่าบล็อกเว็บไซต์ทั้งหมดโดยไม่ตั้งใจ

ตรวจว่ากฎไม่ได้ห้ามโปรแกรมรวบรวมข้อมูลเข้าถึงทั้งเว็บไซต์หรือเส้นทางที่มีบทความสำคัญ หากเว็บไซต์จริงถูกบล็อก Google อาจรวบรวมข้อมูลหน้าใหม่ได้ยาก

② ระวังการบล็อกไฟล์ที่ช่วยแสดงผลหน้าเว็บ

อย่าบล็อกไฟล์ภาพ สไตล์ หรือสคริปต์ที่จำเป็นต่อการแสดงผลหน้าเว็บโดยไม่ตรวจสอบก่อน Google อาจต้องเข้าถึงทรัพยากรเหล่านี้เพื่อทำความเข้าใจหน้าเว็บและการแสดงผล

③ อย่าใช้ Robots.txt ซ่อนข้อมูลส่วนตัว

Robots.txt ไม่ใช่ระบบรักษาความปลอดภัยและไม่ควรใช้ซ่อนข้อมูลลับหรือพื้นที่ที่ต้องจำกัดสิทธิ์ ผู้ใช้หรือโปรแกรมอื่นอาจยังเข้าถึง URL ได้ หากข้อมูลเป็นส่วนตัวควรใช้ระบบล็อกอินหรือควบคุมสิทธิ์ที่เหมาะสม

❹ แยกการบล็อกการรวบรวมข้อมูลกับการไม่จัดทำดัชนี

Robots.txt ใช้ควบคุมการเข้าถึงเพื่อรวบรวมข้อมูล ไม่ได้เป็นวิธีรับประกันว่าหน้าจะหายจากผลการค้นหา หากต้องการไม่ให้หน้าแสดงใน Google ให้ใช้ Noindex ที่หน้าเว็บ และเปิดให้ Google เข้าถึงหน้านั้นเพื่ออ่านคำสั่งได้

หากหน้าเคยปรากฏใน Google แล้ว การบล็อกด้วย Robots.txt อย่างเดียวอาจทำให้ Google อ่านคำสั่ง Noindex ที่อยู่ในหน้าไม่ได้ ควรเลือกวิธีให้ตรงกับเป้าหมายก่อนแก้ไข

❺ ตรวจสอบหลังบันทึก Robots.txt

หลังแก้ไฟล์ ให้เปิด /robots.txt ในเบราว์เซอร์แบบไม่เข้าสู่ระบบ ตรวจว่าไฟล์แสดงเนื้อหาล่าสุดและไม่มีข้อความผิดพลาด จากนั้นใช้เครื่องมือใน Search Console ตรวจ URL สำคัญว่าถูกบล็อกหรือไม่

หากพบว่าหน้าสำคัญถูกบล็อก ให้แก้หรือนำกฎที่เกี่ยวข้องออก แล้วตรวจซ้ำ อย่ารอเฉพาะรายงานใน Search Console เพราะข้อมูลรายงานอาจไม่ได้เปลี่ยนทันทีหลังแก้ไฟล์

เช็กลิสต์ก่อนใช้ Robots.txt

• ตรวจไฟล์จริงที่เว็บไซต์แสดงผ่าน /robots.txt
• ทราบว่าไฟล์มาจาก WordPress ปลั๊กอิน หรือโฮสติ้ง
• เก็บสำเนาเดิมก่อนแก้ไข
• ตรวจว่าไม่ได้บล็อกทั้งเว็บไซต์หรือหน้าสำคัญ
• ไม่บล็อกไฟล์ที่จำเป็นต่อการแสดงผลโดยไม่ตรวจสอบ
• ไม่ใช้ Robots.txt เพื่อป้องกันข้อมูลส่วนตัวหรือสั่ง Noindex
• ตรวจ URL สำคัญอีกครั้งหลังบันทึก

การตั้งค่า Robots.txt ควรเริ่มจากตรวจไฟล์ปัจจุบันและแก้เฉพาะสิ่งที่จำเป็น สำหรับเว็บไซต์ ComSiam ควรตรวจทั้งไฟล์ที่แสดงบนโดเมนและไฟล์ในโฮสติ้ง เพื่อให้แน่ใจว่าแก้ถูกแหล่ง

เมื่อเปลี่ยนกฎแล้ว ComSiam ควรทดสอบหน้าเว็บสำคัญและตรวจใน Search Console เพื่อยืนยันว่า Google ยังเข้าถึงเนื้อหาที่ต้องการเผยแพร่ได้