วิธีแก้ไข robots.txt ใน WordPress (มีและไม่มีปลั๊กอิน)

คุณกำลังมองหาวิธีที่มีประสิทธิภาพที่สุดใน การแก้ไข robots.txt ใน WordPress หรือไม่? สิ่งเหล่านี้มีความสำคัญหากคุณต้องการให้โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาทราบหน้าและส่วนต่างๆ ของเว็บไซต์ของคุณที่พวกเขาควรรวบรวมข้อมูลและจัดทำดัชนี

แม้ว่า WordPress จะสร้างไฟล์ robots.txt สำหรับเว็บไซต์ของคุณตามค่าเริ่มต้น แต่คุณยังอาจต้องเปลี่ยนไฟล์เพื่อจัดการสิ่งที่เครื่องมือค้นหาสามารถดูได้ หากคุณไม่คุ้นเคยกับ robots.txt ไม่ต้องกังวล เราจะอธิบายว่า robots.txt คืออะไร และเหตุใดจึงจำเป็นต้องแก้ไข พร้อมทั้งวิธีต่างๆ ในการแก้ไขบนเว็บไซต์ WordPress ของคุณด้วยบทแนะนำสอนการใช้งานนี้

ดังนั้นเรามาทำความเข้าใจกันก่อนว่า robots.txt คืออะไร

Robots.txt คืออะไร

Robots.txt เป็นไฟล์ข้อความธรรมดา ในไดเร็กทอรีรากของเว็บไซต์ของคุณที่ มีคำแนะนำสำหรับเว็บโรบ็อตหรือบอทว่าควรรวบรวมข้อมูลและจัดทำดัชนีหน้าหรือพื้นที่ใดในไซต์ของคุณ ไฟล์นี้จะบอกเสิร์ชเอ็นจิ้นว่าหน้าหรือส่วนต่างๆ ควรได้รับการจัดทำดัชนีหรือไม่ โดยยึดตามข้อบังคับเฉพาะของเว็บไซต์

ตัวอย่างเช่น โปรแกรมรวบรวมข้อมูลเว็บ เช่น โปรแกรมรวบรวมข้อมูลเว็บของ Google จะตรวจสอบเว็บไซต์เป็นประจำเพื่ออัปเดตดัชนีของหน้าเว็บ โปรแกรมรวบรวมข้อมูลเว็บเหล่านี้จาก Google หรือที่เรียกว่า Googlebot ทำตามคำแนะนำที่ระบุไว้ในไฟล์ robots.txt เพื่อตรวจสอบเว็บไซต์

วัตถุประสงค์หลักของไฟล์ robots.txt คือการช่วยเว็บมาสเตอร์ในการควบคุมว่าเครื่องมือค้นหาข้อมูลใดสามารถเข้าถึงบนไซต์ของตนได้ คุณสามารถใช้ไฟล์เพื่อป้องกันไม่ให้บอทเข้าถึงไซต์หรือไดเรกทอรีเฉพาะได้ แต่โปรดทราบว่าบ็อตบางตัวนอกเหนือจาก Googlebot และโปรแกรมรวบรวมข้อมูลเว็บที่มีชื่อเสียงอื่นๆ อาจไม่ปฏิบัติตามหลักเกณฑ์ในไฟล์

ทำไมคุณควรแก้ไขไฟล์ Robots.txt

การแก้ไขไฟล์ robots.txt ใน WordPress มีประโยชน์หลายประการ นี่คือข้อควรพิจารณาบางประการ:

• บล็อกบอทที่ไม่ต้องการ: บอทบางตัวอาจไม่เป็นประโยชน์ต่อเว็บไซต์ของคุณหรืออาจใช้ทรัพยากรที่มีค่าบนเซิร์ฟเวอร์ของคุณ ซึ่งอาจส่งผลให้เวลาในการโหลดเว็บไซต์ช้าลงและทำให้ประสิทธิภาพไซต์ของคุณลดลง ดังนั้น การแก้ไขไฟล์ robots.txt สามารถช่วยบล็อกบอทที่ไม่พึงประสงค์จากการรวบรวมข้อมูลไซต์ของคุณ และปรับปรุงความเร็วโดยรวมของเว็บไซต์ของคุณ
• ปกป้องข้อมูลที่ละเอียดอ่อน: หน้าบางหน้าในเว็บไซต์ของคุณอาจมีข้อมูลที่ละเอียดอ่อนซึ่งคุณไม่ต้องการให้เครื่องมือค้นหาจัดทำดัชนี ซึ่งอาจรวมถึงข้อมูลส่วนบุคคล ข้อมูลทางธุรกิจที่เป็นความลับ เนื้อหาที่มีการป้องกันด้วยรหัสผ่าน หรือแม้แต่เนื้อหาที่เกี่ยวข้องกับกฎหมายหรือการปฏิบัติตามกฎข้อบังคับ
  คุณสามารถป้องกันไม่ให้มีการรวบรวมข้อมูลและจัดทำดัชนีหน้าเหล่านี้ได้โดยแก้ไขไฟล์ robots.txt สิ่งนี้จะช่วยปกป้องความเป็นส่วนตัวและความปลอดภัยของเว็บไซต์ของคุณ
• นำบอทไปยังหน้าเฉพาะ : คุณยังสามารถใช้ robots.txt เพื่อนำบอทไปยังหน้าใดหน้าหนึ่งในเว็บไซต์ของคุณที่คุณต้องการให้เครื่องมือค้นหารวบรวมข้อมูลและจัดทำดัชนี สิ่งนี้ทำให้คุณสามารถจัดลำดับความสำคัญของหน้าที่คุณต้องการให้อันดับสูงขึ้นในผลลัพธ์ของเครื่องมือค้นหา
• ป้องกันการจัดทำดัชนีเนื้อหาที่ซ้ำกัน: คุณอาจมีหน้าเว็บในเว็บไซต์ของคุณที่มีเนื้อหาคล้ายกัน เช่น หน้าหมวดหมู่หรือแท็ก ในกรณีนี้ คุณสามารถใช้ไฟล์ robots.txt เพื่อป้องกันไม่ให้บอทของเครื่องมือค้นหาจัดทำดัชนีได้ วิธีนี้สามารถช่วยหลีกเลี่ยงปัญหาเนื้อหาที่ซ้ำกันซึ่งส่งผลเสียต่อการจัดอันดับของเครื่องมือค้นหาในเว็บไซต์ของคุณ

ตอนนี้คุณเข้าใจแล้วว่าไฟล์ robots.txt คืออะไรและเหตุใดจึงจำเป็น เรามาต่อกันที่ส่วนถัดไป ซึ่งเราจะแสดงวิธีปรับแต่งไฟล์

วิธีแก้ไข Robots.txt ใน WordPress

คุณสามารถแก้ไขไฟล์ robots.txt ได้ 3 วิธีหลักๆ ใน WordPress:

1. การใช้ไคลเอ็นต์ FTP
2. cPanel
3. ด้วยปลั๊กอิน

เราจะอธิบายแต่ละวิธีโดยละเอียด แต่ถ้าคุณใช้ ไคลเอ็นต์ FTP หรือวิธี cPanel คุณจะต้อง สร้างไฟล์ robots.txt ด้วยตนเอง ก่อน

WordPress สร้างไฟล์ robots.txt เสมือนตามค่าเริ่มต้น เมื่อคุณเปิดไซต์ของคุณ สามารถเข้าถึงได้โดยเพิ่มพาธ “ /robots.txt ” ต่อท้ายโดเมนของคุณ

ตัวอย่างเช่น คุณสามารถเข้าถึงไฟล์ robots.txt ของ QuadLayers โดยใช้ลิงก์: “https://quadlayers.com/robots.txt”

อย่างไรก็ตาม เราจะไม่ใช้ไฟล์เริ่มต้นของ robots.txt ได้รับการแก้ไขเพื่อตอบสนองความต้องการเฉพาะของ QuadLayers แต่ ไฟล์เริ่มต้นของ robots.txt ที่สร้างโดย WordPress จะมีเพียงข้อมูลต่อไปนี้:

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: /wp-admin/
อนุญาต: /wp-admin/admin-ajax.php

ขออภัย คุณไม่สามารถแก้ไขไฟล์นี้ได้เนื่องจากเป็นไฟล์เสมือน หากต้องการแก้ไขไฟล์ robots.txt ของเว็บไซต์ WordPress คุณต้องสร้างด้วยตนเอง

ในการทำเช่นนั้น คุณสามารถใช้โปรแกรมแก้ไขข้อความเพื่อสร้างไฟล์เปล่าและบันทึกไฟล์เป็น “ robots.txt ”

อีกทางหนึ่ง หากคุณต้องการใช้ปลั๊กอิน SEO เพื่อแก้ไขไฟล์ สามารถทำได้โดยอัตโนมัติผ่านปลั๊กอิน เราจะเรียนรู้สิ่งนี้ในภายหลังในคู่มือนี้

อย่างไรก็ตาม ไฟล์ robots.txt ของคุณต้องมีข้อมูลเดียวกัน ไม่ว่าคุณจะใช้วิธีใดก็ตาม มาดูกันดีกว่าว่าต้องรวมอะไรบ้างในไฟล์ robots.txt ด้วย

สิ่งที่ควรรวมไว้ในไฟล์ Robots.txt

เพื่อให้แน่ใจว่าเครื่องมือค้นหาจัดทำดัชนีเว็บไซต์ของคุณอย่างถูกต้อง ต่อไปนี้คือคำสั่งโค้ดหรือคำสั่งที่คุณสามารถรวมไว้ในไฟล์ robots.txt ของคุณ:

• User-agent: ข้อมูลนี้จะระบุเครื่องมือค้นหาหรือบ็อตที่ใช้คำแนะนำ คุณสามารถรวมตัวแทนผู้ใช้อย่างน้อยหนึ่งรายการในไฟล์ robots.txt ของคุณ ขึ้นอยู่กับบอทที่คุณต้องการควบคุม ตัวอย่างเช่น “User-agent: Googlebot” หมายถึงโปรแกรมรวบรวมข้อมูลเว็บของ Google
• ไม่อนุญาต: คำสั่งนี้บอกบอทว่าหน้าหรือไดเร็กทอรีใดที่บอทเครื่องมือค้นหาไม่ควรรวบรวมข้อมูลหรือจัดทำดัชนี คุณสามารถระบุแต่ละหน้าหรือทั้งไดเร็กทอรี ตัวอย่างเช่น “ไม่อนุญาต: /wp-admin/” จะบล็อกบอททั้งหมดจากการรวบรวมข้อมูลหน้าเว็บภายในไดเร็กทอรีผู้ดูแลระบบ WordPress
• แผนผังไซต์: คำสั่งนี้บอกให้บอททราบว่าจะหาไฟล์แผนผังไซต์ของเว็บไซต์ของคุณได้จากที่ใด ไฟล์แผนผังไซต์จะแสดงหน้าทั้งหมดบนไซต์ของคุณที่คุณต้องการให้เครื่องมือค้นหาจัดทำดัชนี

คุณยังสามารถใช้คำสั่ง “ allow ” ในไฟล์ robots.txt มันบอกบอทว่าควรรวบรวมข้อมูลหรือจัดทำดัชนีหน้าหรือไดเรกทอรีใด อย่างไรก็ตามโปรดจำไว้ว่าเป็นทางเลือกและควรใช้เมื่อจำเป็นเท่านั้น

นี่คือตัวอย่างไฟล์ robots.txt พื้นฐาน:

 ตัวแทนผู้ใช้: *
ไม่อนุญาต: /wp-admin/
ไม่อนุญาต: /wp-includes/
แผนผังเว็บไซต์: https://www.example.com/sitemap.xml

ในตัวอย่างนี้ user-agent ถูกตั้งค่าเป็น “*” ซึ่งหมายความว่าคำสั่งมีผลกับบอททั้งหมด คำสั่ง "ไม่อนุญาต" บล็อกไม่ให้บอทรวบรวมข้อมูลผู้ดูแลระบบ WordPress และไดเร็กทอรี "wp-include" ในทำนองเดียวกัน คำสั่งแผนผังไซต์จะระบุตำแหน่งของไฟล์แผนผังไซต์

ตอนนี้ คุณมีความเข้าใจพื้นฐานเกี่ยวกับสิ่งที่ควรรวมไว้ในไฟล์ robots.txt แล้ว คุณสามารถเพิ่มหน้าเว็บทั้งหมดที่คุณไม่ต้องการให้บอทรวบรวมข้อมูลหรือจัดทำดัชนีได้ สุดท้ายให้บันทึกไฟล์

1) แก้ไข Robots.txt โดยใช้ FTP Client

หากต้องการแก้ไข robots.txt ใน WordPress โดยใช้ไคลเอนต์ FTP คุณต้องติดตั้งไคลเอนต์ FTP และเชื่อมต่อเว็บไซต์ของคุณ มีไคลเอ็นต์ FTP มากมาย เช่น FileZilla และ Cyberduck ที่คุณสามารถใช้วิธีนี้ได้ แต่เราจะใช้ FileZilla สำหรับบทช่วยสอนนี้

1.1) เชื่อมต่อเว็บไซต์ WordPress ของคุณกับ FTP

หลังจากที่คุณติดตั้งไคลเอ็นต์ FTP ให้เปิดแอปพลิเคชันแล้วไปที่ ไฟล์ > ตัวจัดการไซต์ คุณยังสามารถเปิดตัวจัดการไซต์ได้โดยกด Ctrl+S บนแป้นพิมพ์

จากนั้นคลิกที่ New Site และป้อนชื่อเว็บไซต์ของคุณภายใต้ My Sites

ตอนนี้ เปิดแท็บ ทั่วไป และป้อนข้อมูลประจำตัวของไซต์ของคุณ คุณสามารถรับข้อมูลรับรองเพื่อเชื่อมต่อเว็บไซต์ของคุณกับ FileZilla จากบริการโฮสติ้งของคุณ

หลังจากที่คุณป้อนข้อมูลรับรองแล้ว ให้คลิกที่ เชื่อมต่อ

คุณสามารถเข้าถึงไดเร็กทอรีไฟล์ของไซต์จากคอมพิวเตอร์ของคุณหลังจากเชื่อมต่อไซต์แล้ว ดังนั้น เรามาอัปโหลดไฟล์ robots.txt จากคอมพิวเตอร์ไปยังเว็บไซต์ของคุณกันเลย

1.2) อัปโหลดไฟล์ Robots.txt ไปยัง WordPress

เมื่อคุณเชื่อมต่อไซต์ของคุณกับไคลเอนต์ FTP คุณจะต้อง ไปที่ไดเร็กทอรีราก ของเว็บไซต์ของคุณ เนื่องจากนี่คือตำแหน่งที่ไฟล์ robots.txt ควรอยู่

ไฟล์รูทเรียกอีกอย่างว่าไฟล์ “ public_html ”

คุณสามารถ อัปโหลด ไฟล์ robots.txt ที่เพิ่งสร้างได้ที่นี่ หากมีไฟล์ robots.txt อยู่แล้วในไฟล์นี้ ให้แทนที่ไฟล์นั้น

แค่นั้นแหละ!

ตอนนี้ สิ่งที่คุณต้องทำคือทดสอบไฟล์ robots.txt โดยเพิ่มพาธ “/robots.txt” ที่ส่วนท้ายของโดเมน เช่นเดียวกับที่เราแสดงให้คุณเห็นในตัวอย่างก่อนหน้านี้

2) แก้ไข Robots.txt โดยใช้ cPanel

การแก้ไขไฟล์ robots.txt ด้วย cPanel นั้นคล้ายกับวิธีไคลเอนต์ FTP มาก ขั้นแรก คุณต้อง ลงชื่อเข้าใช้ cPanel ของเว็บไซต์ของคุณ ขอย้ำอีกครั้งว่าบริการโฮสติ้งของคุณควรได้รับข้อมูลรับรองการเข้าสู่ระบบที่จำเป็นทั้งหมดแล้ว

หลังจากที่คุณลงชื่อเข้าใช้ cPanel ให้เลื่อนไปที่ส่วน ไฟล์ และคลิกที่ ตัวจัดการไฟล์

จากนั้น ไปที่ไดเร็กทอรีไฟล์ “ public_html ” และ อัปโหลด ไฟล์ robots.txt ที่เพิ่งสร้างที่นี่ อีกครั้ง หากมีไฟล์ robots.txt อยู่แล้วที่นี่ คุณต้องแทนที่ด้วยไฟล์ที่แก้ไขใหม่

สุดท้าย ทดสอบไฟล์ robots.txt ของคุณโดยเพิ่มพาธ “/robots.txt” ที่ท้ายโดเมนของคุณ

3) แก้ไข Robots.txt โดยใช้ปลั๊กอิน

หากคุณต้องการประหยัดเวลาและความยุ่งยากในการแก้ไขหน้า robots.txt คุณสามารถใช้ปลั๊กอินได้เช่นกัน ปลั๊กอิน SEO หลายตัว เช่น Yoast SEO, All in One SEO และ Rank Math SEO ช่วยให้คุณสร้างและแก้ไขไฟล์ robots.txt ได้

คุณสามารถดูรายการที่สมบูรณ์ของปลั๊กอิน WordPress SEO ที่ดีที่สุด หากคุณต้องการข้อมูลเพิ่มเติมเพื่อช่วยในการตัดสินใจเลือกปลั๊กอินที่คุณต้องการใช้

แต่เราจะใช้ปลั๊กอิน Rank Math SEO สำหรับการสาธิตนี้ เป็นหนึ่งในปลั๊กอิน SEO ที่ได้รับความนิยมมากที่สุดและมีอินเทอร์เฟซที่ตรงไปตรงมามากในการแก้ไขไฟล์ robots.txt เริ่มจากการติดตั้งปลั๊กอินกันก่อน

3.1) ติดตั้งและเปิดใช้งานปลั๊กอิน

ในการติดตั้งปลั๊กอิน คุณต้องไปที่ ปลั๊กอิน > เพิ่มใหม่ จากแดชบอร์ด WordPress ของคุณและค้นหาคำหลักของปลั๊กอินก่อน หลังจากที่คุณเห็นปลั๊กอินในเครื่องมือค้นหา ให้คลิก ติดตั้งทันที การติดตั้งจะใช้เวลาสักครู่

ทันทีที่การติดตั้งเสร็จสิ้น ให้คลิกที่ เปิดใช้งาน เพื่อเปิดใช้งานปลั๊กอิน

หากคุณต้องการใช้ปลั๊กอินพรีเมียมใดๆ คุณต้องอัปโหลดด้วยตนเอง คุณสามารถดูคำแนะนำโดยละเอียดเกี่ยวกับการติดตั้งปลั๊กอิน WordPress ด้วยตนเองสำหรับข้อมูลเพิ่มเติม

ยิ่งไปกว่านั้น หากคุณพบปัญหาใดๆ ในขณะตั้งค่า Rank Math SEO เรายังมีคำแนะนำเฉพาะเกี่ยวกับวิธีตั้งค่า Rank Math

3.2) แก้ไขไฟล์ Robots.txt

หลังจากเปิดใช้งานปลั๊กอินแล้ว ให้ไปที่ Rank Math > General Settings จากแดชบอร์ด WordPress ของคุณ แล้วเลือกแท็บ แก้ไขไฟล์ robots.txt คุณจะเห็นว่าปลั๊กอินมีโปรแกรมแก้ไขข้อความเพื่อให้คุณแก้ไขไฟล์ robots.txt ในส่วนนี้

ที่นี่ คุณต้องเพิ่มรหัสและคำสั่งทั้งหมดขึ้นอยู่กับหน้าเว็บที่คุณต้องการให้บอทรวบรวมข้อมูลและจัดทำดัชนี หากคุณต้องการความช่วยเหลือ เราได้ให้แนวทางที่จำเป็นทั้งหมดในบทช่วยสอนนี้ในขั้นตอนก่อนหน้านี้

เมื่อคุณเพิ่มคำสั่งและคำสั่งที่จำเป็นทั้งหมดสำหรับไฟล์ robots.txt แล้ว ให้คลิก บันทึกการเปลี่ยนแปลง

ยอดเยี่ยม! ตอนนี้ หากคุณเพิ่มพาธ “/robots.txt” ต่อท้ายโดเมน คุณจะเห็นว่าไฟล์ได้รับการอัปเดตตามนั้น ดังนั้นบอทของเครื่องมือค้นหาจะผ่านเฉพาะหน้าเว็บที่คุณอนุญาตตามไฟล์ robots.txt

บทสรุป

นี่คือวิธีที่คุณสามารถสร้างและ แก้ไขไฟล์ robots.txt ใน WordPress จำเป็นอย่างยิ่งที่จะต้องทำเช่นนั้น หากคุณไม่ต้องการให้บอทของเครื่องมือค้นหาผ่านเนื้อหาที่ละเอียดอ่อนหรือซ้ำซ้อนในเว็บไซต์ของคุณ นอกจากนี้ยังสามารถใช้ไฟล์ robots.txt เพื่อสั่งให้บอทรวบรวมข้อมูลและจัดทำดัชนีหน้าเฉพาะของเว็บไซต์ของคุณ

โดยสรุป คุณสามารถแก้ไขไฟล์ robots.txt ได้โดยใช้สามวิธีหลัก:

• การใช้ไคลเอ็นต์ FTP
• cPanel
• ด้วยปลั๊กอิน

การใช้ ไคลเอนต์ FTP และ cPanel นั้นคล้ายคลึงกันมาก สิ่งที่คุณต้องทำคือลงชื่อเข้าใช้ cPanel หรือเชื่อมต่อเว็บไซต์ของคุณกับไคลเอนต์ FTP และอัปโหลดไฟล์ robots.txt จากนั้น คุณต้องอัปโหลดไฟล์ robots.txt ที่คุณสร้างด้วยตนเองก่อนหน้านี้

ในทางกลับกัน ไฟล์ robots.txt จะ ถูกเพิ่มลงในเว็บไซต์ของคุณโดยอัตโนมัติหากคุณใช้ปลั๊กอิน ปลั๊กอินยังมีตัวแก้ไขข้อความเพื่อช่วยคุณแก้ไขไฟล์ robots.txt

คุณสามารถแก้ไขไฟล์ robots.txt สำหรับเว็บไซต์ของคุณตอนนี้ได้หรือไม่ แจ้งให้เราทราบในความคิดเห็นไม่ว่าคุณเคยลองหรือไม่

ในขณะเดียวกัน หากคุณพบว่าบทความนี้มีประโยชน์ ต่อไปนี้เป็นบทความบางส่วนที่คุณสามารถใช้เพื่อปรับแต่งหรือปรับปรุงเว็บไซต์ WordPress ของคุณ:

• วิธีปรับปรุง WordPress SEO: 9 วิธี
• ปลั๊กอิน WordPress SSL ที่ดีที่สุด (ฟรีและจ่ายเงิน)
• วิธีเพิ่มคำอธิบาย Meta ใน WordPress