كيف يمكن بسهولة تحسين ملف Robots.txt في WordPress؟

مقدمة

هناك العديد من التقنيات لزيادة مُحسنات محركات البحث لموقعك على الويب. يعد تحسين ملف WordPress Robots.txt أحد أفضل الطرق. نظرًا لأنه يسمح لمحركات البحث بفحص موقع الويب الخاص بك ، فإن ملف Robots.txt معروف جيدًا كأداة فعالة لتحسين محركات البحث. نتيجة لذلك ، يمكنك تحسين مُحسنات محركات البحث لموقعك بحرية عن طريق تعديل ملف Robots.txt. سنقدم بوضوح بعض الأساليب لتحسين WordPress Robots.txt حول هذا الموضوع في منشور المدونة هذا اليوم.

تعريف ملف Robots.txt

يوجد أدناه ملخص لملف Robots.txt الخاص بـ WordPress.

دعنا الآن نلقي نظرة على البنية الأساسية لملف Robot.txt:

دعنا نحدد المصطلحات المستخدمة في ملف Robots.txt نيابة عنك:

• وكيل المستخدم: اسم الزاحف
• Disallow: يمنع الزحف إلى صفحات أو مجلدات أو ملفات موقع الويب.
• السماح: تمكين الزحف إلى الدليل والملف والصفحة
• ملف Sitemap ، إذا تم توفيره: إظهار موقع ملف Sitemap: يمثل رقمًا أو حرفًا.
• *: ترمز للرقم أو الحرف
• $: يمكنك استخدامه لتقييد صفحات الويب التي تتضمن امتدادًا معينًا بالوقوف حتى نهاية السطر.

لنلقِ نظرة على الرسم التوضيحي التالي لمساعدتك على الفهم:

نسمح لمحركات البحث بالزحف إلى الملفات الموجودة في مجلد تحميلات WordPress في مثال Robot.txt.

ومع ذلك ، فإننا نقيد وصول محركات البحث إلى مجلدات تسجيل الدخول والبطاقة والصور.

أخيرًا ، نقدمه بعنوان URL الخاص بخريطة الموقع.

لماذا يجب إنشاء ملف Robots.txt لموقع الويب الخاص بك على WordPress؟

بدون ملف Robots.txt ، ستستمر محركات البحث في الزحف إلى كل صفحة من صفحات موقع الويب وفهرستها. ومع ذلك ، سيقومون بالزحف إلى جميع المواد الموجودة على موقع الويب الخاص بك بدلاً من المجلدات أو الصفحات التي تحددها فقط.

يجب عليك إنشاء ملف Robots.txt لموقع الويب الخاص بك لسببين رئيسيين. بادئ ذي بدء ، يمكنك بسهولة إدارة جميع المعلومات الموجودة على موقع الويب الخاص بك بمساعدته. يعود الأمر إليك لتحديد ما إذا كان يجب الزحف إلى الصفحات أو الأدلة أو فهرستها. وهذا يعني أن صفحات مثل ملفات المكونات الإضافية أو صفحات المسؤول أو أدلة السمات لن يتم الزحف إليها بواسطة محركات البحث. نتيجة لذلك ، سيساعد ذلك في سرعة تحميل فهرس موقع الويب الخاص بك.

شرط منع المنشورات أو الصفحات غير الضرورية من فهرستها بواسطة محركات البحث هو التبرير الآخر. لذلك يمكنك بسهولة وبشكل ملائم منع صفحة أو منشور WordPress من الظهور في نتائج البحث.

كيفية تحسين WordPress Robots.txt بشكل أكثر كفاءة

في هذه المدونة التعليمية ، سنوضح لك كيفية إنشاء ملف Robots.txt وتحسينه على موقع WordPress الخاص بك باستخدام طريقتين مختلفتين:

• إجراء تغييرات على ملف Robots.txt باستخدام مكون إضافي: All in One SEO
• تحرير ملف Robots.txt يدويًا باستخدام FTP

لجعل ملف Robots.txt أكثر فعالية ، استخدم المكون الإضافي All in One SEO.

تتوفر العديد من إضافات WordPress SEO لمساعدتك في حل هذه المشكلة في سوق WordPress. ولكن في هذه المقالة ، اخترنا استخدام All in One SEO ، وهو مكون إضافي محبوب مع أكثر من 2 مليون مستخدم ، لمساعدتك.

دعنا نثبته أولاً عن طريق تحديد الإضافات -> إضافة جديد . ثم ابحث عن اسم البرنامج المساعد ، وقم بتثبيته ، ثم قم بتنشيطه .

ستعود إلى لوحة تحكم المسؤول بعد إكمال بضع خطوات سهلة. انتقل إلى All in one SEO -> Tools الآن.

لنقم بتبديل الزر Enable Custome Robots.txt في قسم محرر Robots.txt لتنشيطه. بعد تشغيله ، يمكنك تعديل ملف Robots.txt الافتراضي في WordPress.

عندما نقوم بالتمرير لأسفل ، ستلاحظ أن هذا المكون الإضافي يعرض مربعًا بمعاينة ملف Robots.txt. هذه هي قواعد WordPress الافتراضية.

من خلال تحديد زر إضافة قاعدة ، يمكنك إضافة المزيد من القواعد المحددة الخاصة بك لمساعدة مُحسّنات محرّكات البحث لموقعك على الويب.

دعنا ندخل * في حقل User-Agent لتطبيق القاعدة على جميع وكلاء المستخدم من أجل إضافة قاعدة جديدة.

ما عليك سوى تحديد السماح أو عدم السماح لبرامج روبوت البحث بالزحف في المرحلة التالية.

لا تنس إدخال اسم الملف أو مسار الدليل في حقل مسار الدليل بعد ذلك.

عندما تنتهي من جميع تفضيلاتك ، دعنا نضغط على زر حفظ التغييرات .

سيتم الآن تطبيق جميع القواعد الإضافية التي أضفتها بالفعل على ملف Robots.txt على الفور.

قم يدويًا بتعديل وتحسين ملف Robots.txt في WordPress باستخدام FTP

هذه طريقة مختلفة لتحسين WordPress Robots.txt قد تستمتع بها. يجب عليك تحرير ملف Robots.txt باستخدام عميل FTP لتحقيق ذلك.

للاستفادة من عميل FPT بشكل ملائم ، دعنا أولاً ننشئ اتصالاً بحساب استضافة WordPress الخاص بك. يمكنك بسهولة ملاحظة ملف Robots.txt في المجلد الجذر لموقعك عند الوصول إليه. دعنا نختار عرض / تحرير عن طريق النقر بزر الفأرة الأيمن.

من ناحية أخرى ، ربما ليس لديك أي شيء إذا لم تتمكن من العثور عليه. لذلك دعونا أولاً ننشئ ملف Robots.txt لموقع الويب الخاص بك عن طريق تحديد إنشاء ملف جديد باستخدام الزر الأيمن للماوس.

ملف Robots.txt هو ملف نصي عادي ، لذا يمكنك تنزيله وتحريره باستخدام محرر نص عادي مثل Notepad أو TextEdit ، من بين آخرين. تحتاج ببساطة إلى تحميله مرة أخرى إلى المجلد الجذر لموقع الويب الخاص بك بعد ذلك. يبدو سهلا ، ألا تعتقد ذلك؟

تأكد من عمل ملف Robots.txt لموقع WordPress الخاص بك.

يجب اختبار ملف Robots.txt الخاص بك بمجرد أن تقوم بإعداده وتكوينه بالفعل بحيث يمكن تحديد أي مشكلات والإبلاغ عنها. نتيجة لذلك ، يجب عليك اختباره باستخدام أداة اختبار Robots.txt. جرب Google Search Console ، كما نوصي به بشدة.

يجب عليك التأكد من أن موقع الويب الخاص بك مرتبط بـ Google Search Console إذا كنت ترغب في استخدام هذه الخدمة. يمكنك بعد ذلك استخدام أداة اختبار الروبوتات عن طريق تحديد الخاصية من قائمة الاختيار. سيتم الآن إضافة ملف Robots.txt لموقع الويب الخاص بك تلقائيًا. سوف ينبهك إذا كان هناك خطأ.

خاتمة

بشكل عام ، الهدف الرئيسي من تحسين ملف Robots.txt هو منع روبوتات البحث من الوصول إلى الصفحات غير المطلوبة لعامة الجمهور ، بما في ذلك مجلدات المكونات الإضافية أو مجلدات الإدارة. نتيجة لذلك ، لن يساعد حظر علامات WordPress أو الفئات أو صفحات الأرشيف في تحسين محركات البحث. بمعنى آخر ، لإنشاء ملف Robots.txt مثالي لموقع WordPress الخاص بك ، يجب عليك الالتزام بالنمط أدناه.

نأمل أن تجد منشور المدونة اليوم ليكون مفيدًا في تحسين WordPress Robots.txt. تذكر أن تمررها إلى معارفك ومشرفي المواقع الآخرين. أيضًا ، يرجى ترك ملاحظة أدناه إذا كان لديك أي أسئلة. وبالتالي ، سوف نرد عليك بأسرع ما يمكن. حان الوقت بالنسبة لك لتحسين WordPress Robots.txt. حتى بلوق المستقبل ، انتبه.

بالمناسبة ، لدينا الكثير من قوالب WordPress المعاصرة والجذابة والمجانية التي تدعم هذه الميزة المفيدة بشكل كامل. دعنا نذهب لرؤيتهم ونطلب من أحدهم إعادة تصميم موقع الويب الخاص بك