ตั้งค่า robots.txt สำหรับ Joomla อย่างไร โดยไม่ปิดกั้นหน้าสำคัญ

ไฟล์ robots.txt เป็นไฟล์ข้อความที่วางไว้ในรากโดเมน เพื่อบอก crawler ว่าส่วนใดของเว็บไซต์ขอไม่ให้เข้ารวบรวมข้อมูล ใน Joomla ควรตรวจไฟล์ที่มีอยู่ก่อนแก้ และอย่าใช้ Disallow: / หรือปิดกั้นทั้งโฟลเดอร์โดยไม่รู้ว่ามีหน้าและไฟล์ใดอยู่ข้างใน

❶ หาและสำรองไฟล์ robots.txt

① เปิดไฟล์ที่รากเว็บไซต์

เปิด https://example.com/robots.txt ในเบราว์เซอร์ หากเว็บไซต์ติดตั้ง Joomla ไว้ในโฟลเดอร์ย่อย เช่น /joomla/ ไฟล์ robots.txt ที่ใช้กับโดเมนโดยทั่วไปยังต้องอยู่ที่รากโดเมน เช่น example.com/robots.txt

② แก้ไฟล์ผ่าน File Manager หรือ FTP

ใช้ File Manager ของโฮสติ้งหรือ FTP เปิดโฟลเดอร์หลักของโดเมน แล้วหาไฟล์ robots.txt ดาวน์โหลดสำเนาหรือคัดลอกเนื้อหาเก็บไว้ก่อนแก้

③ ตรวจไฟล์เดิมก่อนเปลี่ยน

Joomla อาจมี robots.txt พร้อมกฎเริ่มต้นอยู่แล้ว ตรวจทุกบรรทัดก่อนแก้ อย่าลบไฟล์เดิมแล้วแทนด้วยกฎจากเว็บไซต์อื่นทั้งชุด เพราะแต่ละเว็บอาจมีโครงสร้างและส่วนเสริมต่างกัน

❷ เข้าใจคำสั่งพื้นฐาน

① User-agent

ระบุกลุ่ม crawler ที่กฎด้านล่างใช้กับ เช่น User-agent: * หมายถึงใช้กับ crawler ทุกตัวที่ปฏิบัติตาม robots.txt

② Disallow

ระบุ path ที่ไม่ต้องการให้ crawler เข้ารวบรวมข้อมูล ตัวอย่าง:

User-agent: *
Disallow: /private-preview/

ตัวอย่างนี้ใช้ได้เมื่อเว็บไซต์มี path /private-preview/ และต้องการกัน crawler ออกจากส่วนนั้นจริงเท่านั้น ตรวจให้แน่ใจก่อนว่ากฎไม่ได้ตรงกับบทความหรือไฟล์ที่ต้องการให้ Google เข้าถึง

③ Allow

ใช้อนุญาต path ภายในส่วนที่มีกฎ Disallow ครอบอยู่ การรองรับและลำดับการประเมินกฎอาจแตกต่างกันตาม crawler ควรใช้เมื่อจำเป็นและทดสอบผลกับ URL จริง

④ Sitemap

ใส่บรรทัด Sitemap เพื่อบอกตำแหน่ง XML Sitemap ได้ เช่น:

Sitemap: https://www.example.com/sitemap.xml

เปลี่ยนเป็น URL Sitemap จริงของเว็บไซต์ และใช้โดเมนหลักกับโปรโตคอลที่ถูกต้อง

❸ ระวังกฎที่อาจปิดกั้นหน้าสำคัญ

① อย่าปิดกั้นทั้งเว็บไซต์

หลีกเลี่ยงกฎ Disallow: / บนเว็บไซต์ที่ต้องการให้ค้นพบ เพราะอาจขอไม่ให้ crawler เข้าทุก path ของโดเมน

② ตรวจผลของกฎที่ครอบคลุมหลายหน้า

ก่อนเพิ่มกฎกับโฟลเดอร์ Joomla เช่น /images/, /components/ หรือ path อื่น ให้ตรวจว่าไม่ได้มีไฟล์ภาพ สคริปต์ หรือทรัพยากรที่หน้าเว็บต้องใช้และต้องการให้ Google เข้าถึง

③ อย่าใช้ robots.txt เป็นระบบรักษาความปลอดภัย

ไฟล์ robots.txt เปิดดูได้สาธารณะและเป็นเพียงคำขอถึง crawler ไม่ได้ป้องกันผู้ใช้เข้าถึงหน้าแอดมินหรือไฟล์ที่เป็นส่วนตัว ให้ใช้ระบบล็อกอิน สิทธิ์ไฟล์ หรือการจำกัดการเข้าถึงที่เซิร์ฟเวอร์แทน

④ อย่าใช้ robots.txt ซ่อนหน้าออกจากผลค้นหา

หากต้องการให้ Google เลิกแสดงหน้าหนึ่ง การบล็อก URL ใน robots.txt อาจทำให้ Google อ่านคำสั่ง noindex ในหน้านั้นไม่ได้ ให้เปิดทางให้ crawler เข้าถึง แล้วกำหนด noindex ที่หน้า หรือใช้การป้องกันด้วยรหัสผ่านตามลักษณะงาน

❹ ทดสอบ robots.txt หลังบันทึก

① เปิด URL ของไฟล์อีกครั้ง

หลังอัปโหลดหรือบันทึก ให้เปิด https://example.com/robots.txt ตรวจว่าเห็นเนื้อหาเวอร์ชันใหม่และไม่มีข้อความผิดพลาดหรือ HTML จากหน้าอื่นแสดงแทน

② ตรวจ path ที่ต้องการเปิดให้ค้นพบ

ดูว่ากฎ Disallow ไม่ตรงกับหน้าแรก บทความ หมวดหมู่ ไฟล์ CSS, JavaScript หรือภาพที่สำคัญ หากสงสัย ให้ตรวจ URL เฉพาะด้วย URL Inspection ใน Search Console

③ ตรวจหน้าที่ตั้งใจปิดกั้น

ลองเปิด URL ที่อยู่ใต้ path ใน Disallow แล้วเปรียบเทียบกับเจตนา หากกฎปิดกั้นกว้างเกินไป ให้แก้หรือลบกฎนั้น แล้วตรวจซ้ำ

④ ตรวจ Sitemap

เปิด Sitemap ที่ระบุในไฟล์ robots.txt ตรวจว่าเข้าถึงได้และเป็นไฟล์ XML หากมีการเปลี่ยนเส้นทางหรือเปลี่ยนโดเมน ให้แก้ URL ในบรรทัด Sitemap ให้ตรงกับปลายทางจริง

ComSiam แนะนำให้แก้ robots.txt ทีละกฎ พร้อมเก็บสำเนาไฟล์เดิมไว้ เพื่อให้ย้อนกลับได้หากพบว่าหน้าสำคัญถูกปิดกั้น

❺ เช็กลิสต์ก่อนเผยแพร่ไฟล์

• robots.txt อยู่ที่รากโดเมน
• สำรองไฟล์เดิมก่อนแก้
• ไม่มี Disallow: / บนเว็บไซต์ที่ต้องการให้จัดทำดัชนี
• ตรวจว่าไม่บล็อกบทความ หมวดหมู่ หรือทรัพยากรที่หน้าเว็บต้องใช้
• ไม่ใช้ robots.txt แทนรหัสผ่านหรือ noindex
• URL Sitemap ถูกต้องและเปิดได้
• เปิดไฟล์หลังบันทึกเพื่อตรวจผลจริง

เมื่อ robots.txt มีเพียงกฎที่จำเป็น crawler จะเข้าถึงเนื้อหาสาธารณะของ Joomla ได้ตามที่ตั้งใจ สำหรับเว็บไซต์ของ ComSiam ควรทบทวนไฟล์นี้ทุกครั้งหลังติดตั้งส่วนเสริมหรือเปลี่ยนโครงสร้าง URL