บล็อกเกอร์ที่ช่ำชองส่วนใหญ่รู้ดีว่า robots.txt คืออะไรและทำไมคุณถึงต้องการไฟล์นี้ แต่มีผู้เขียนไม่กี่คนที่รีบสร้างไฟล์ robots.txt ทันทีหลังจากติดตั้งบล็อกบน WordPress
Robots.txt เป็นไฟล์ข้อความที่อัปโหลดไปยังไดเร็กทอรีรากของไซต์ของคุณ และมีคำแนะนำสำหรับโปรแกรมรวบรวมข้อมูล วัตถุประสงค์หลักของการใช้งานคือห้ามการจัดทำดัชนีของแต่ละหน้าและส่วนต่างๆ บนไซต์ อย่างไรก็ตาม เมื่อใช้ robots.txt คุณยังสามารถระบุมิเรอร์โดเมนที่ถูกต้อง กำหนดเส้นทางไปยังแผนผังเว็บไซต์ และอื่นๆ ในทำนองเดียวกัน
เสิร์ชเอ็นจิ้นสมัยใหม่ส่วนใหญ่เรียนรู้ที่จะนำทาง CMS ยอดนิยมอย่างดี และมักจะไม่พยายามจัดทำดัชนีเนื้อหาที่ไม่ได้มีไว้สำหรับสิ่งนี้ ตัวอย่างเช่น Google จะไม่จัดทำดัชนีพื้นที่ผู้ดูแลบล็อก WordPress ของคุณ แม้ว่าคุณจะไม่ได้ระบุโดยตรงใน robots.txt อย่างไรก็ตาม ในบางกรณี การใช้การแบนโดยตรงยังคงมีประโยชน์อยู่ และเรากำลังพูดถึงการห้ามเนื้อหาที่ซ้ำกันเป็นหลัก
เว็บมาสเตอร์บางคนถึงขั้นห้ามการจัดทำดัชนีหน้าหมวดหมู่และแท็ก เนื่องจากเนื้อหาบางส่วนซ้ำกับเนื้อหาของหน้าหลัก แต่ส่วนใหญ่จะจำกัดอยู่แค่การห้ามหน้าแทร็กแบ็คและหน้าฟีด ซึ่งซ้ำกับเนื้อหาบทความทั้งหมด และไม่ได้มีไว้สำหรับเครื่องมือค้นหาเลย ข้อควรระวังดังกล่าวจะไม่เพียงแต่ทำให้ผลลัพธ์ของไซต์ "สะอาดขึ้น" แต่ยังช่วยคุณประหยัดจากตัวกรองการค้นหาที่เป็นไปได้ โดยเฉพาะอย่างยิ่งหลังจากการแนะนำอัลกอริธึม Google Panda ใหม่
ต่อไปนี้คือคำสั่งที่แนะนำสำหรับไฟล์ robots.txt (ใช้ได้กับบล็อก WordPress เกือบทุกบล็อก):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / ธีม Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
โปรดทราบว่าใน robots.txt โฟลเดอร์การดูแลระบบ wp-admin และ wp-include จะถูกปิดอย่างสมบูรณ์สำหรับการจัดทำดัชนี โฟลเดอร์ wp-content ถูกปิดเพียงบางส่วนเท่านั้น เนื่องจากมีไดเร็กทอรีอัพโหลด ซึ่งมีรูปภาพทั้งหมดจากบล็อกของคุณที่ควรได้รับการจัดทำดัชนี
สิ่งที่คุณต้องทำคือคัดลอกคำสั่งจากโค้ดด้านบน (โปรดทราบว่าแต่ละคำสั่งต้องเขียนในบรรทัดใหม่) บันทึกลงในไฟล์ข้อความที่เรียกว่า robots.txt และอัปโหลดไปยังไดเร็กทอรีรากของเว็บไซต์ของคุณ
คุณสามารถตรวจสอบได้ตลอดเวลาว่า robots.txt ทำงานอย่างถูกต้องผ่านอินเทอร์เฟซ Google Webmaster Tools และ Yandex Webmaster
