كيفية تحسين ملف Robots.txt الخاص بـ WordPress لتحسين محركات البحث

في هذه المدونة ، سنتعلم بعض النصائح حول كيفية تحسين مُحسّنات محرّكات البحث لموقع الويب الخاص بك عن طريق تحسين ملف robts.txt.

في الواقع ، يلعب ملف Robots.txt دورًا مهمًا من حيث تحسين محركات البحث لأنه يخبر محركات البحث كيف يمكن الزحف إلى موقع الويب الخاص بك. هذا هو السبب في أن ملفات Robot.txt تعتبر واحدة من أقوى أدوات تحسين محركات البحث (SEO).

في وقت لاحق ، ستتعلم أيضًا كيف يمكنك إنشاء WordPress Robots.txt وتحسينه لتحسين محركات البحث.

ماذا تقصد بملف robots.txt؟

يُعرف الملف النصي الذي أنشأه مالكو مواقع الويب لإخبار روبوتات محرك البحث بكيفية الزحف على موقع الويب الخاص بهم ويمكنهم فهرسة الصفحات باسم Robots.txt

في الواقع ، في الدليل الجذر ، يتم تخزين هذا الملف. يسمى هذا الدليل أيضًا المجلد الرئيسي لموقع الويب الخاص بك. المذكور أدناه هو تنسيق الملف لملف robots.txt

 وكيل المستخدم: [اسم وكيل المستخدم]
Disallow: [سلسلة عنوان URL لا يجب الزحف إليها]
وكيل المستخدم: [اسم وكيل المستخدم]
السماح: [سيتم الزحف إلى سلسلة عنوان URL]
خريطة الموقع: [عنوان URL لملف XML Sitemap الخاص بك]

للسماح أو عدم السماح بعناوين URL معينة ، يمكن أن يكون لديك سطور مختلفة من التعليمات. بالإضافة إلى أنه يمكنك إضافة خرائط مواقع مختلفة أيضًا. ستعتبر روبوتات محرك البحث أنه يُسمح لها بالزحف إلى الصفحات إذا كانت تسمح بعنوان URL.
فيما يلي مثال على ملف robots.txt

 وكيل المستخدم: *
السماح: / wp-content / uploads /
Disallow: / wp-content / plugins /
Disallow: / wp-admin /
خريطة الموقع: https://example.com/sitemap_index.xml

في المثال المذكور أعلاه ، سمحنا للزحف إلى الصفحات من خلال محركات البحث والحصول على ملفات الفهرسة في مجلد تحميلات WordPress.

بعد ذلك ، لم نسمح لروبوتات البحث بالزحف إلى مجلدات إدارة WordPress والمكونات الإضافية وفهرستها.
أخيرًا ، ذكرنا عنوان URL لخريطة موقع XML.

بالنسبة لموقع WordPress الخاص بك ، هل تحتاج إلى ملف Robots.txt؟

سيبدأ محرك البحث في الزحف إلى صفحاتك وفهرستها حتى إذا لم يكن لديك الملف النصي ، مثل Robots.txt. لكن لسوء الحظ ، لا يمكنك إعلام محرك البحث الخاص بك بالمجلد أو الصفحة المحددة التي يجب الزحف إليها.

لن يربح أو يترك أي تأثير إذا كنت قد أنشأت للتو موقعًا إلكترونيًا أو مدونة ذات محتوى أقل.
ومع ذلك ، بمجرد قيامك بإعداد موقع الويب الخاص بك مع الكثير من المحتوى وعندما يبدأ في النمو ، ستحتاج إلى التحكم في الصفحات التي تم الزحف إليها وفهرستها على موقع الويب الخاص بك.

يتم إعطاء السبب الأول أدناه

لكل موقع ويب ، تمتلك روبوتات البحث حصة من الزحف.

وهذا يعني بوضوح أنه أثناء جلسة الزحف ، سوف يزحف إلى عدد محدد من الصفحات. لنفترض أن الزحف على موقع الويب الخاص بك لا يزال غير مكتمل ، ثم سيعود مرة أخرى وسيستأنف الزحف في جلسة أخرى.

وبسبب هذا ، فإن معدل فهرسة موقع الويب الخاص بموقعك سيكون عرضًا.

يمكنك إصلاح هذه المشكلة من خلال عدم السماح لروبوتات البحث بعدم الزحف إلى مثل هذه الصفحات غير الضرورية. قد تتضمن بعض الصفحات غير المهمة ملفات المكونات الإضافية وصفحات إدارة WordPress ومجلدات السمات.

يمكن حفظ حصة الزحف من خلال عدم السماح للزحف إلى الصفحات غير المرغوب فيها. ستكون هذه الخطوة أكثر فائدة لأن محركات البحث ستزحف الآن إلى صفحات الموقع وستكون قادرة على فهرستها في أقرب وقت ممكن.

ويرد أدناه سبب آخر يجعلك تستخدم ملف Robots.txt في WordPress وتحسينه

كلما احتجت إلى إيقاف محركات البحث من فهرسة الصفحات أو المنشورات على موقعك ، يمكنك استخدام هذا الملف.

في الواقع ، إنها إحدى أكثر الطرق غير الملائمة لتغطية محتوى موقع الويب الخاص بك من عامة الناس ولكنها ستثبت أنها أفضل دعم لحمايتهم حتى يظهروا في نتائج البحث.

كيف يظهر ملف Robots.txt؟

يتم استخدام ملف robots.txt بسيط للغاية في معظم المدونات الشهيرة. يمكن أن يختلف المحتوى مقارنة بمتطلبات موقع الويب المعين.

 وكيل المستخدم: *
عدم السماح:
خريطة الموقع: http://www.example.com/post-sitemap.xml
خريطة الموقع: http://www.example.com/page-sitemap.xml
سيسمح ملف robots.txt لجميع الروبوتات بفهرسة كل محتوى وتقديم روابط إلى موقع ويب خريطة موقع XML.
تم ذكر القواعد التالية التي يجب اتباعها في ملفات robots.txt

وكيل المستخدم: *
السماح: / wp-content / uploads /
Disallow: / wp-content / plugins /
Disallow: / wp-admin /
Disallow: /readme.html
Disallow: / إحالة /
خريطة الموقع: http://www.example.com/post-sitemap.xml
خريطة الموقع: http://www.example.com/page-sitemap.xml

سيشير هذا إلى الروبوت لفهرسة جميع ملفات وصور WordPress. لن يسمح هذا لروبوتات البحث من فهرسة منطقة إدارة WordPress وملفات البرنامج المساعد WordPress والروابط التابعة وملف WordPress التمهيدي.

إلى ملفات robots.txt ، يمكنك إضافة خرائط مواقع تساعد روبوتات Google على التعرف على جميع الصفحات على موقع الويب الخاص بك.

أنت الآن تدرك كيف يبدو ملف robots.txt ، والآن سنتعلم كيف يمكن إنشاء ملف robots.txt في WordPress.

في WordPress ، كيف يتم إنشاء ملف robots.txt؟

لإنشاء ملف robots.txt في WordPress ، هناك العديد من الطرق. بعض من أفضل الطرق مدرجة أدناه ، يمكنك اختيار أي منها لتناسبك بشكل أفضل.

الطريقة الأولى: استخدام All in One SEO ، وتعديل ملف Robots.txt

All in One SEO هو البرنامج المساعد الأكثر شهرة في WordPress لكبار المسئولين الاقتصاديين في السوق والذي يستخدمه أكثر من مليون موقع.

يعد المكون الإضافي All in One SEO سهل الاستخدام للغاية ، وبالتالي فهو يوفر مولد ملف robotx.txt. من المفيد أيضًا تحسين WordPress Robots.txt

إذا لم تقم بدمج مكون SEO الإضافي هذا حتى الآن ، فقم بتثبيته وتنشيطه أولاً من لوحة معلومات WordPress. الإصدار المجاني متاح أيضًا للمستخدمين المبتدئين حتى يتمكنوا من الاستفادة من ميزاته دون استثمار الأموال.

بعد تنشيط المكون الإضافي ، يمكنك البدء في استخدامه لإنشاء ملف robots.txt أو تعديله من منطقة مسؤول WordPress الخاصة بك مباشرةً.

لتستخدمها

• انتقل إلى All in One SEO
• الآن لتحرير ملف robots.txt ، انقر فوق الأدوات
• الآن بالنقر فوق "تمكين ملف robots.txt المخصص" ، ستقوم بتشغيل خيار التحرير
• في WordPress ، يمكنك أيضًا إنشاء ملف robots.txt مخصص باستخدام هذا التبديل.
• الآن سيتم عرض ملف robots.txt الحالي الخاص بك بواسطة "All in One SEO plugin" في قسم "معاينة ملف robots.txt". هذا قابل للعرض في الجزء السفلي من شاشة الويب الخاصة بك.

بواسطة WordPress ، سيتم عرض القاعدة الافتراضية التي تمت إضافتها بواسطة هذا الإصدار
يبدو أن القواعد الافتراضية التي تظهر وكأنها تقترح لمحرك البحث الخاص بك أنها لا تحتاج إلى الزحف إلى ملفات WordPress الأساسية ، وتقدم رابطًا إلى موقع الويب الخاص بخريطة موقع XML ، وتسمح للروبوتات بفهرسة كل محتوياتها.

لتحسين ملف robots.txt الخاص بك لتحسين محركات البحث ، يمكن إضافة قواعد مخصصة جديدة.

أضف وكيل المستخدم في حقل "وكيل المستخدم" لإضافة قاعدة. سيتم تطبيق القاعدة على جميع وكلاء المستخدم باستخدام *.
اختر الآن ما إذا كنت تريد السماح لمحرك البحث بالزحف إلى الصفحات أم لا.

أضف الآن مسار الدليل ، اسم الملف في حقل "مسار الدليل".

سيتم تطبيق القاعدة تلقائيًا على ملف robots.txt الخاص بك. انقر فوق الزر "إضافة قاعدة" لإضافة قاعدة جديدة.
ما لم تقم بإنشاء تنسيق robotx.txt مثالي ، نقترح عليك إضافة قواعد جديدة.

ستبدو القواعد المخصصة التي أضفتها

لتخزين التغييرات ، لا تفوت النقر فوق "حفظ التغييرات"

الطريقة الثانية: تعديل ملف Robots.txt يدويًا بمساعدة FTP

هناك طريقة أخرى لتحسين WordPress Robots.txt وهي استخدام ميزات عملاء FTP لبدء تعديل ملف robots.txt

ما عليك سوى الاتصال بحساب استضافة WordPress الخاص بك بمساعدة عميل FTP

بعد تسجيل الدخول ، في المجلد الجذر لموقع الويب ، ستتمكن من عرض ملف robots.txt.

إذا لم تتمكن من العثور عليه ، فهذا يعني أنه ليس لديك ملف robots.txt

في مثل هذه الحالة ، تحتاج إلى إنشاء ملف robot.txt.

كما ذكرنا سابقًا ، عادةً ما يكون ملف robots.txt عبارة عن ملف نصي بسيط يمكن تنزيله على جهاز الكمبيوتر الخاص بك. ومع ذلك ، يمكنك حتى تعديله بمساعدة محرر نص عادي مثل TextEdit أو Notepad أو WordPad.

بمجرد إجراء جميع التغييرات ، حان الوقت الآن لحفظها. يمكنك تحميل هذا الملف إلى المجلد الجذر لموقع الويب الخاص بك.

كيف يمكنك إجراء الاختبار على ملف Robots.txt الخاص بك؟

يمكنك إجراء الاختبار بمساعدة أداة اختبار ملف robots.txt.

على الويب ، ستجد الكثير من أدوات اختبار ملف robots.txt. واحدة من أفضلها هي Google Search Console.
للعمل باستخدام هذه الأداة ، يجب أولاً أن يكون لديك موقع ويب متصل بوحدة تحكم بحث Google. بعد ذلك ، يمكنك البدء في استخدام ميزاته.

من القائمة المنسدلة ، ما عليك سوى تحديد الممتلكات الخاصة بك.

ومع ذلك ، سيختار ملف robots.txt لموقع الويب الخاص بك تلقائيًا وسيسلط الضوء على جميع التحذيرات والأخطاء. هذه واحدة من أفضل الأدوات التي تساعدك على تحسين ملف WordPress Robots.txt بسهولة بالغة.

استنتاج:
يتمثل الشعار الرئيسي لتحسين ملف robots.txt هذا في حماية الصفحات من الزحف إلى الصفحات. على سبيل المثال صفحات في مجلد مسؤول WordPress أو صفحات في مجلد wp-plugin.

الخرافة الأكثر شيوعًا هي أنه يمكنك تحسين معدل الزحف وجعله فهرسًا أسرع والحصول على ترتيب أعلى عن طريق حظر فئة WordPress ، وتحقيق الصفحات والعلامات.

لكن هذا لن ينجح لأنه سيحدث بشكل خاطئ وفقًا لإرشادات مشرفي المواقع من Google.

نقترح بشدة أن تقرأ وتفكر في جميع النقاط المذكورة أعلاه.

نأمل أن تساعدك هذه المدونة في إنشاء ملف robots.txt باستخدام التنسيق الصحيح لموقعك على الويب. وسوف يساعدك على تحسين WordPress Robots.txt.