วิธีเพิ่มประสิทธิภาพ WordPress Robots.txt สำหรับ SEO

ในบล็อกนี้ เราจะเรียนรู้เคล็ดลับบางประการว่าคุณจะปรับปรุง SEO ของเว็บไซต์ของคุณได้อย่างไรโดยการเพิ่มประสิทธิภาพไฟล์ robts.txt

อันที่จริง ไฟล์ Robots.txt มีบทบาทสำคัญในเงื่อนไขของ SEO เนื่องจากมันบอกเครื่องมือค้นหาว่าเว็บไซต์ของคุณสามารถรวบรวมข้อมูลได้อย่างไร นี่คือเหตุผลที่ไฟล์ Robot.txt ถือเป็นหนึ่งในเครื่องมือที่ทรงพลังที่สุดของ SEO

ต่อมา คุณจะได้เรียนรู้ว่าคุณสามารถสร้างและ เพิ่มประสิทธิภาพ WordPress Robots.txt สำหรับ SEO ได้อย่างไร

คุณหมายถึงอะไรโดยไฟล์ robots.txt

ไฟล์ข้อความที่สร้างโดยเจ้าของเว็บไซต์เพื่อบอกบอทของเครื่องมือค้นหาว่าพวกเขาสามารถรวบรวมข้อมูลบนเว็บไซต์ของพวกเขาได้อย่างไรและจัดทำดัชนีหน้าเรียกว่า Robots.txt

ที่จริงแล้ว ในไดเร็กทอรีราก ไฟล์นี้ถูกเก็บไว้ ไดเร็กทอรีนี้เรียกอีกอย่างว่าโฟลเดอร์หลักของเว็บไซต์ของคุณ ที่กล่าวถึงด้านล่างนี้คือรูปแบบไฟล์สำหรับไฟล์ robots.txt

 User-agent: [ชื่อผู้ใช้-ตัวแทน]
ไม่อนุญาต: [ไม่อนุญาตให้รวบรวมข้อมูลสตริง URL]
User-agent: [ชื่อผู้ใช้-ตัวแทน]
อนุญาต: [สตริง URL ที่จะรวบรวมข้อมูล]
แผนผังเว็บไซต์: [URL ของแผนผังเว็บไซต์ XML ของคุณ]

หากต้องการอนุญาตหรือไม่อนุญาตให้ใช้ URL บางรายการ คุณสามารถมีบรรทัดคำสั่งต่างๆ ได้ นอกจากนี้ คุณยังสามารถเพิ่มแผนผังเว็บไซต์ต่างๆ ได้อีกด้วย บอทของเครื่องมือค้นหาจะพิจารณาว่าสามารถรวบรวมข้อมูลหน้าเว็บได้หากอนุญาตให้ใช้ URL
ตัวอย่างของ robots.txt ได้รับด้านล่าง

 ตัวแทนผู้ใช้: *
อนุญาต: /wp-content/uploads/
ไม่อนุญาต: /wp-content/plugins/
ไม่อนุญาต: /wp-admin/
แผนผังเว็บไซต์: https://example.com/sitemap_index.xml

ในตัวอย่างข้างต้น เราได้รับอนุญาตให้รวบรวมข้อมูลหน้าต่างๆ โดยเครื่องมือค้นหา และรับไฟล์ดัชนีในโฟลเดอร์ของ WordPress ที่อัปโหลด

หลังจากนี้ เราไม่อนุญาตให้บอทค้นหารวบรวมข้อมูลและจัดทำดัชนีโฟลเดอร์และปลั๊กอินของผู้ดูแลระบบ WordPress
สุดท้าย เราได้กล่าวถึง URL ของแผนผังไซต์ XML

สำหรับเว็บไซต์ WordPress ของคุณ คุณต้องการไฟล์ Robots.txt หรือไม่

เครื่องมือค้นหาจะเริ่มรวบรวมข้อมูลและจัดทำดัชนีหน้าเว็บของคุณ แม้ว่าคุณจะไม่มีไฟล์ข้อความ เช่น Robots.txt แต่น่าเสียดาย คุณไม่สามารถแจ้งเครื่องมือค้นหาของคุณว่าควรรวบรวมข้อมูลโฟลเดอร์หรือหน้าที่ใด

จะไม่เกิดผลกำไรหรือจะไม่ทิ้งผลกระทบใดๆ หากคุณเพิ่งสร้างเว็บไซต์หรือบล็อกที่มีเนื้อหาน้อย
อย่างไรก็ตาม เมื่อคุณตั้งค่าเว็บไซต์ของคุณด้วยเนื้อหาจำนวนมากและเมื่อเริ่มเติบโต คุณจะต้องควบคุมหน้าที่รวบรวมข้อมูลและจัดทำดัชนีของเว็บไซต์ของคุณ

เหตุผลแรกได้รับด้านล่าง

สำหรับทุกเว็บไซต์ บอทการค้นหาจะมีโควต้าการรวบรวมข้อมูล

ซึ่งหมายความว่าในระหว่างเซสชันการรวบรวมข้อมูล จะมีการรวบรวมข้อมูลตามจำนวนหน้าที่ระบุอย่างชัดเจน สมมติว่าการรวบรวมข้อมูลในเว็บไซต์ของคุณยังไม่สมบูรณ์ จากนั้นจะกลับมาอีกครั้งและจะกลับมารวบรวมข้อมูลต่อในเซสชันอื่น

ด้วยเหตุนี้ อัตราการจัดทำดัชนีเว็บไซต์ของเว็บไซต์ของคุณจึงเป็นการประลอง

คุณสามารถแก้ไขปัญหานี้ได้โดยไม่อนุญาตให้บอทการค้นหาไม่รวบรวมข้อมูลหน้าดังกล่าวที่ไม่จำเป็น หน้าที่ไม่สำคัญบางหน้าอาจรวมถึงไฟล์ปลั๊กอิน หน้าผู้ดูแลระบบ WordPress และโฟลเดอร์ธีม

สามารถบันทึกโควต้าการรวบรวมข้อมูลได้โดยไม่อนุญาตให้มีการรวบรวมข้อมูลหน้าที่ไม่ต้องการ ขั้นตอนนี้จะมีประโยชน์มากกว่าเพราะตอนนี้เครื่องมือค้นหาจะรวบรวมข้อมูลหน้าต่างๆ ของเว็บไซต์และจะจัดทำดัชนีได้โดยเร็วที่สุด

อีกเหตุผลที่คุณควรใช้งานและเพิ่มประสิทธิภาพไฟล์ WordPress Robots.txt ได้รับด้านล่าง

เมื่อใดก็ตามที่คุณต้องการหยุดเครื่องมือค้นหาไม่ให้สร้างดัชนีหน้าหรือโพสต์ในไซต์ของคุณ คุณสามารถใช้ไฟล์นี้ได้

อันที่จริง มันเป็นวิธีที่ไม่เหมาะสมที่สุดวิธีหนึ่งในการปกปิดเนื้อหาเว็บไซต์ของคุณจากบุคคลทั่วไป แต่จะพิสูจน์ได้ว่าเป็นการสนับสนุนที่ดีที่สุดในการปกป้องเนื้อหาเหล่านั้นเพื่อให้ปรากฏในผลการค้นหา

ไฟล์ Robots.txt ปรากฏอย่างไร

บล็อกยอดนิยมส่วนใหญ่ใช้ไฟล์ robots.txt ที่เรียบง่าย เนื้อหาอาจแตกต่างกันไปเมื่อเทียบกับความต้องการของเว็บไซต์นั้นๆ

 ตัวแทนผู้ใช้: *
ไม่อนุญาต:
แผนผังเว็บไซต์: http://www.example.com/post-sitemap.xml
แผนผังเว็บไซต์: http://www.example.com/page-sitemap.xml
บอททั้งหมดจะได้รับอนุญาตจากไฟล์ robots.txt เพื่อจัดทำดัชนีเนื้อหาทั้งหมดและเสนอลิงก์ไปยังเว็บไซต์ของแผนผังเว็บไซต์ XML
มีการกล่าวถึงกฎต่อไปนี้ที่ต้องปฏิบัติตามในไฟล์ robots.txt

ตัวแทนผู้ใช้: *
อนุญาต: /wp-content/uploads/
ไม่อนุญาต: /wp-content/plugins/
ไม่อนุญาต: /wp-admin/
ไม่อนุญาต: /readme.html
ไม่อนุญาต: /อ้างอิง/
แผนผังเว็บไซต์: http://www.example.com/post-sitemap.xml
แผนผังเว็บไซต์: http://www.example.com/page-sitemap.xml

นี่จะระบุให้บอททำดัชนีไฟล์และรูปภาพ WordPress ทั้งหมด การดำเนินการนี้จะไม่อนุญาตให้บ็อตค้นหาสร้างดัชนีพื้นที่ผู้ดูแลระบบ WordPress ไฟล์ปลั๊กอิน WordPress ลิงก์พันธมิตร และไฟล์ WordPress readme

ในไฟล์ robots.txt คุณสามารถเพิ่มแผนผังเว็บไซต์ที่จะช่วยให้บ็อตของ Google จดจำหน้าทั้งหมดบนเว็บไซต์ของคุณได้

ตอนนี้คุณทราบแล้วว่าไฟล์ robots.txt เป็นอย่างไร ตอนนี้เราจะมาเรียนรู้วิธีสร้างไฟล์ robots.txt ใน WordPress

ใน WordPress จะสร้างไฟล์ robots.txt ได้อย่างไร?

ในการสร้างไฟล์ robots.txt ใน WordPress มีหลายวิธี วิธีการยอดนิยมบางวิธีแสดงอยู่ด้านล่าง คุณสามารถเลือกวิธีใดวิธีหนึ่งเพื่อให้ได้ผลดีที่สุดสำหรับคุณ

วิธีที่ 1: การใช้ All in One SEO แก้ไขไฟล์ Robots.txt

All in One SEO เป็นปลั๊กอิน WordPress ที่รู้จักกันดีที่สุดสำหรับ SEO ในตลาดซึ่งมีการใช้งานโดยเว็บไซต์มากกว่า 1 ล้านแห่ง

ปลั๊กอิน All in One SEO นั้นใช้งานง่ายมากและมีตัวสร้างไฟล์ robotx.txt นอกจากนี้ยังเป็นประโยชน์ในการเพิ่มประสิทธิภาพ WordPress Robots.txt

หากคุณยังไม่ได้รวมปลั๊กอิน SEO นี้ ให้ติดตั้งและเปิดใช้งานก่อนจากแดชบอร์ด WordPress เวอร์ชันฟรียังมีให้สำหรับผู้ใช้ระดับเริ่มต้นเพื่อให้สามารถใช้คุณลักษณะต่างๆ ได้โดยไม่ต้องลงทุนเงิน

หลังจากเปิดใช้งานปลั๊กอินแล้ว คุณสามารถเริ่มต้นใช้งานเพื่อสร้างหรือแก้ไขไฟล์ robots.txt จากพื้นที่ผู้ดูแลระบบ WordPress ของคุณได้โดยตรง

ที่จะใช้

• ไปที่ All in One SEO
• ตอนนี้เพื่อแก้ไขไฟล์ robots.txt ให้คลิกที่เครื่องมือ
• ตอนนี้ เมื่อคลิกที่ 'เปิดใช้งาน robots.txt ที่กำหนดเอง' คุณจะเปิดตัวเลือกการแก้ไข
• ใน WordPress คุณยังสามารถสร้างไฟล์ robots.txt แบบกำหนดเองได้ด้วยปุ่มสลับนี้
• ตอนนี้ไฟล์ robots.txt ที่มีอยู่ของคุณจะแสดงโดย 'ปลั๊กอิน SEO ทั้งหมดในหนึ่งเดียว' ในส่วน 'ตัวอย่าง robots.txt' ซึ่งสามารถดูได้ที่ด้านล่างของหน้าจอเว็บของคุณ

โดย WordPress กฎเริ่มต้นที่เพิ่มเข้ามาจะแสดงในเวอร์ชันนี้
กฎเริ่มต้นที่ดูเหมือนจะแนะนำเครื่องมือค้นหาของคุณว่าพวกเขาไม่จำเป็นต้องรวบรวมข้อมูลไฟล์ WordPress หลัก เสนอลิงก์ไปยังเว็บไซต์ของแผนผังเว็บไซต์ XML และอนุญาตให้บอทจัดทำดัชนีเนื้อหาทั้งหมด

ในการปรับปรุง robots.txt สำหรับ SEO คุณสามารถเพิ่มกฎที่กำหนดเองใหม่ได้

เพิ่มตัวแทนผู้ใช้ในฟิลด์ 'ตัวแทนผู้ใช้' เพื่อเพิ่มกฎ กฎจะถูกนำไปใช้กับตัวแทนผู้ใช้ทั้งหมดโดยใช้ *
ตอนนี้ เลือกว่าคุณต้องการอนุญาตหรือไม่อนุญาตให้เครื่องมือค้นหารวบรวมข้อมูลหน้า

ตอนนี้เพิ่มเส้นทางไดเรกทอรี ชื่อไฟล์ในฟิลด์ 'เส้นทางไดเรกทอรี'

ใน robots.txt ของคุณ กฎจะถูกนำไปใช้โดยอัตโนมัติ คลิกที่ปุ่ม 'เพิ่มกฎ' เพื่อเพิ่มกฎใหม่
เว้นแต่คุณจะสร้างรูปแบบ robotx.txt ในอุดมคติ เราขอแนะนำให้คุณเพิ่มกฎใหม่

กฎที่กำหนดเองที่คุณเพิ่มจะมีลักษณะดังนี้

ในการจัดเก็บการเปลี่ยนแปลงของคุณ อย่าพลาดที่จะคลิก 'บันทึกการเปลี่ยนแปลง'

วิธีที่ 2: แก้ไขไฟล์ Robots.txt ด้วยตนเองโดยใช้ FTP

อีกวิธีหนึ่งในการเพิ่มประสิทธิภาพ WordPress Robots.txt คือการใช้คุณสมบัติของไคลเอนต์ FTP เพื่อเริ่มแก้ไขไฟล์ robots.txt

คุณเพียงแค่ต้องเชื่อมต่อกับบัญชีโฮสติ้ง WordPress ด้วยความช่วยเหลือของไคลเอนต์ FTP

หลังจากเข้าสู่ระบบ ในโฟลเดอร์รากของเว็บไซต์ คุณจะสามารถดูไฟล์ robots.txt ได้

หากคุณหาไม่พบ แสดงว่าคุณไม่มีไฟล์ robots.txt

ในสถานการณ์เช่นนี้ คุณต้องสร้างไฟล์ robot.txt

ดังที่ได้กล่าวไว้ก่อนหน้านี้ ไฟล์ robots.txt มักจะเป็นไฟล์ข้อความธรรมดาที่สามารถดาวน์โหลดได้บนคอมพิวเตอร์ของคุณ อย่างไรก็ตาม คุณยังสามารถแก้ไขได้ด้วยความช่วยเหลือของโปรแกรมแก้ไขข้อความธรรมดา เช่น TextEdit, Notepad หรือ WordPad

เมื่อคุณได้ทำการเปลี่ยนแปลงทั้งหมดแล้ว ก็ถึงเวลาบันทึก คุณสามารถอัปโหลดไฟล์นี้ไปยังโฟลเดอร์รูทของเว็บไซต์ของคุณ

คุณจะทำการทดสอบกับไฟล์ Robots.txt ได้อย่างไร

คุณสามารถทำการทดสอบโดยใช้เครื่องมือทดสอบ robots.txt

บนเว็บ คุณจะพบเครื่องมือทดสอบ robots.txt มากมาย หนึ่งในสิ่งที่ดีที่สุดคือ Google Search Console
ในการทำงานกับเครื่องมือนี้ ก่อนอื่นคุณต้องมีเว็บไซต์ที่เชื่อมต่อกับคอนโซลการค้นหาของ Google หลังจากนี้ คุณสามารถเริ่มใช้งานคุณลักษณะต่างๆ ได้

จากรายการดรอปดาวน์ คุณเพียงแค่ต้องเลือกคุณสมบัติของคุณ

อย่างไรก็ตาม มันจะเลือกไฟล์ robots.txt ของเว็บไซต์ของคุณโดยอัตโนมัติและจะเน้นคำเตือนและข้อผิดพลาดทั้งหมด นี่เป็นหนึ่งในเครื่องมือที่ดีที่สุดที่ช่วยให้คุณเพิ่มประสิทธิภาพไฟล์ WordPress Robots.txt ได้อย่างง่ายดาย

บทสรุป:
คำขวัญหลักของการเพิ่มประสิทธิภาพไฟล์ robots.txt นี้คือการป้องกันหน้าเว็บจากการรวบรวมข้อมูลหน้าเว็บ ตัวอย่างเช่น หน้าในโฟลเดอร์ผู้ดูแลระบบ WordPress หรือหน้าในโฟลเดอร์ wp-plugin

ตำนานที่พบบ่อยที่สุดคือคุณสามารถปรับปรุงอัตราการรวบรวมข้อมูลและทำให้ดัชนีเร็วขึ้น และได้รับการจัดอันดับที่สูงขึ้นโดยการบล็อกหมวดหมู่ WordPress บรรลุหน้าเว็บและแท็ก

แต่วิธีนี้ใช้ไม่ได้ผลเนื่องจากจะผิดพลาดตามหลักเกณฑ์สำหรับผู้ดูแลเว็บของ Google

เราขอแนะนำให้คุณอ่านและพิจารณาประเด็นทั้งหมดที่กล่าวมาข้างต้น

เราหวังว่าบล็อกนี้จะช่วยคุณสร้างไฟล์ robots.txt โดยใช้รูปแบบที่เหมาะสมสำหรับเว็บไซต์ของคุณ และมันจะช่วยให้คุณเพิ่มประสิทธิภาพ WordPress Robots.txt