كيفية تحرير ملف robots.txt في WordPress (مع المكونات الإضافية وبدونها)

هل تبحث عن أكثر الطرق فعالية لتعديل ملف robots.txt في WordPress ؟ إنها ضرورية إذا كنت تريد السماح لبرامج زحف محركات البحث بمعرفة صفحات وأقسام موقع الويب الخاص بك التي يجب عليهم الزحف إليها وفهرستها.

على الرغم من أن WordPress ينشئ ملف robots.txt لموقع الويب الخاص بك بشكل افتراضي ، فقد تظل بحاجة إلى تغييره لإدارة ما يمكن لمحركات البحث عرضه. إذا لم تكن معتادًا على استخدام ملف robots.txt ، فلا داعي للقلق. سنشرح ما هو ملف robots.txt ولماذا من الضروري تعديله ، إلى جانب الطرق المختلفة لتحريره على موقع WordPress الخاص بك باستخدام هذا البرنامج التعليمي.

لذلك دعونا نتعمق في فهم المقصود بملف robots.txt.

ما هو ملف robots.txt؟

Robots.txt هو ملف نصي عادي في الدليل الجذر لموقعك على الويب يحتوي على إرشادات لروبوتات الويب أو برامج الروبوت على صفحات أو مناطق موقعك التي يجب الزحف إليها وفهرستها . يخبر الملف محركات البحث بما إذا كان يجب فهرسة الصفحات أو الأقسام أم لا بناءً على اللوائح الخاصة بالموقع.

على سبيل المثال ، تقوم برامج زحف الويب مثل برامج زحف الويب من Google بفحص مواقع الويب بانتظام لتحديث فهرس صفحاتها. تتبع برامج زحف الويب هذه من Google ، والمعروفة أيضًا باسم Googlebot ، الإرشادات الواردة في ملف robots.txt للتحقق من موقع الويب.

الغرض الأساسي من ملف robots.txt هو مساعدة مشرفي المواقع في التحكم في المعلومات التي قد تصل إليها محركات البحث على مواقعهم. يمكنك استخدام الملف لمنع الروبوتات من الوصول إلى مواقع أو أدلة معينة. لكن ضع في اعتبارك أن بعض برامج الروبوت بخلاف Googlebot وبرامج زحف الويب الشهيرة الأخرى قد لا تتبع الإرشادات الواردة في الملف.

لماذا يجب عليك تحرير ملف Robots.txt؟

هناك العديد من الفوائد لتحرير ملف robots.txt في WordPress. فيما يلي بعض الاعتبارات:

• حظر الروبوتات غير المرغوب فيها: قد لا تكون بعض الروبوتات مفيدة لموقعك على الويب أو قد تستهلك موارد قيمة على خادمك. يمكن أن يؤدي ذلك إلى بطء أوقات تحميل موقع الويب وتقليل أداء موقعك. لذا فإن تحرير ملف robots.txt الخاص بك يمكن أن يساعدك في منع برامج الروبوت غير المرغوب فيها من الزحف إلى موقعك وتحسين السرعة الإجمالية لموقعك على الويب.
• حماية المعلومات الحساسة: قد تحتوي صفحات معينة على موقع الويب الخاص بك على معلومات حساسة لا تريد أن تقوم محركات البحث بفهرستها. قد يشمل ذلك البيانات الشخصية أو المعلومات التجارية السرية أو المحتوى المحمي بكلمة مرور أو حتى المحتوى القانوني أو المتعلق بالامتثال.
  يمكنك منع الزحف إلى هذه الصفحات وفهرستها عن طريق تحرير ملف robots.txt الخاص بك. سيساعد هذا أيضًا في حماية خصوصية وأمان موقع الويب الخاص بك.
• برامج الروبوت المباشرة إلى صفحات معينة : يمكنك أيضًا استخدام ملف robots.txt لتوجيه الروبوتات إلى صفحات معينة على موقع الويب الخاص بك تريد أن تقوم محركات البحث بالزحف إليها وفهرستها. يتيح لك هذا تحديد أولويات الصفحات التي تريد ترتيبها أعلى في نتائج محرك البحث.
• منع فهرسة المحتوى المكرر: قد يكون لديك صفحات على موقع الويب الخاص بك ذات محتوى مشابه ، مثل صفحات الفئات أو العلامات. إذا كان الأمر كذلك ، فيمكنك استخدام ملف robots.txt لمنع روبوتات محرك البحث من فهرستها. يمكن أن يساعد ذلك في تجنب مشكلات المحتوى المكررة التي تؤثر سلبًا على تصنيفات محرك البحث لموقع الويب الخاص بك.

الآن بعد أن فهمت ما هو ملف robots.txt ولماذا هو ضروري ، دعنا ننتقل إلى القسم التالي ، حيث سنوضح لك كيفية تخصيصه.

كيفية تحرير ملف robots.txt في WordPress

يمكنك تحرير ملف robots.txt بثلاث طرق رئيسية في WordPress:

1. باستخدام عميل FTP
2. cPanel
3. مع البرنامج المساعد

سنتناول كل من هذه الأساليب بالتفصيل. ولكن إذا كنت تستخدم عميل FTP أو نهج cPanel ، فسيتعين عليك إنشاء ملف robots.txt يدويًا أولاً.

يقوم WordPress بإنشاء ملف robots.txt افتراضي بشكل افتراضي عند بدء تشغيل موقعك. يمكن الوصول إليه عن طريق إضافة المسار " /robots.txt " في نهاية المجال الخاص بك.

على سبيل المثال ، يمكنك الوصول إلى ملف robots.txt الخاص بـ QuadLayers باستخدام الرابط: "https://quadlayers.com/robots.txt."

ومع ذلك ، فإننا لا نستخدم ملف robots.txt الافتراضي. تم تحريره لتلبية الاحتياجات المحددة لـ QuadLayers. لكن ملف robots.txt الافتراضي الذي تم إنشاؤه بواسطة WordPress يتضمن فقط المعلومات التالية:

 وكيل المستخدم: *
Disallow: / wp-admin /
السماح: /wp-admin/admin-ajax.php

للأسف ، لا يمكنك تحرير هذا الملف لأنه افتراضي . لتحرير ملف robots.txt لموقع الويب الخاص بك على WordPress ، يجب عليك إنشاء واحد يدويًا.

للقيام بذلك ، يمكنك استخدام أي محرر نصوص لإنشاء ملف فارغ وحفظ الملف باسم " robots.txt ".

بدلاً من ذلك ، إذا كنت تريد استخدام مكون إضافي لتحسين محركات البحث (SEO) لتحرير الملف ، فيمكن القيام بذلك تلقائيًا من خلال المكون الإضافي. سوف نتعلم هذا لاحقًا في هذا الدليل.

ومع ذلك ، يجب أن يحتوي ملف robots.txt الخاص بك على نفس المعلومات بغض النظر عن الطريقة التي تستخدمها. لذلك دعونا نلقي نظرة على ما يجب تضمينه في ملف robots.txt أيضًا.

ما الذي يجب تضمينه في ملف Robots.txt؟

للتأكد من قيام محركات البحث بفهرسة موقع الويب الخاص بك بشكل صحيح ، إليك بعض أوامر التعليمات البرمجية أو التوجيهات التي يمكنك تضمينها في ملف robots.txt الخاص بك:

• User-agent: يحدد هذا محرك البحث أو الروبوت الذي تنطبق عليه التعليمات. يمكنك تضمين وكيل مستخدم واحد أو أكثر في ملف robots.txt الخاص بك ، اعتمادًا على برامج الروبوت التي تريد التحكم فيها. على سبيل المثال ، يشير "User-agent: Googlebot" إلى زاحف الويب من Google.
• Disallow: يخبر هذا التوجيه برامج الروبوت بالصفحات أو الدلائل التي لا ينبغي لروبوتات محرك البحث الزحف إليها أو فهرستها. يمكنك تحديد صفحات فردية أو أدلة كاملة. على سبيل المثال ، يؤدي "Disallow: / wp-admin /" إلى منع جميع برامج الروبوت من الزحف إلى الصفحات داخل دليل مشرف WordPress.
• خريطة الموقع: يخبر هذا التوجيه الروبوتات بمكان العثور على ملف خريطة موقع موقع الويب الخاص بك. يسرد ملف Sitemap جميع الصفحات الموجودة على موقعك والتي تريد أن تقوم محركات البحث بفهرستها.

يمكنك أيضًا استخدام الأمر " allow " في ملف robots.txt. يخبر الروبوتات بالصفحات أو الدلائل التي يجب عليهم الزحف إليها أو فهرستها. ومع ذلك ، تذكر أنه اختياري ويجب استخدامه عند الضرورة فقط.

فيما يلي مثال على ملف robots.txt أساسي:

 وكيل المستخدم: *
Disallow: / wp-admin /
Disallow: / wp-include /
خريطة الموقع: https://www.example.com/sitemap.xml

في هذا المثال ، تم تعيين وكيل المستخدم على "*" ، مما يعني أن التعليمات تنطبق على جميع برامج الروبوت. يمنع الأمر "disallow" الروبوتات من الزحف إلى مشرف WordPress وأدلة "wp-include". وبالمثل ، يحدد توجيه خريطة الموقع مكان ملف خريطة الموقع.

الآن بعد أن أصبح لديك فهم أساسي لما يجب تضمينه في ملف robots.txt ، يمكنك إضافة جميع صفحات الويب التي لا تريد أن تقوم الروبوتات بالزحف إليها أو فهرستها. أخيرًا ، احفظ الملف.

1) قم بتحرير ملف robots.txt باستخدام عميل FTP

لتحرير ملف robots.txt في WordPress باستخدام عميل FTP ، يجب عليك تثبيت عميل FTP وتوصيل موقع الويب الخاص بك. هناك العديد من عملاء FTP مثل FileZilla و Cyberduck التي يمكنك استخدامها لهذه الطريقة. لكننا سنستخدم FileZilla في هذا البرنامج التعليمي.

1.1) قم بتوصيل موقع WordPress الخاص بك إلى FTP

بعد تثبيت عميل FTP ، افتح التطبيق وانتقل إلى File> Site Manager . يمكنك أيضًا فتح مدير الموقع بالضغط على Ctrl + S على لوحة المفاتيح.

ثم ، انقر فوق موقع جديد وأدخل اسم موقع الويب الخاص بك ضمن "مواقعي" .

الآن ، افتح علامة التبويب عام وأدخل بيانات اعتماد موقعك. يمكنك الحصول على بيانات الاعتماد لربط موقع الويب الخاص بك بـ FileZilla من خدمة الاستضافة الخاصة بك.

بعد إدخال بيانات الاعتماد ، انقر فوق اتصال .

يمكنك الوصول إلى دليل ملف الموقع من جهاز الكمبيوتر الخاص بك بعد توصيل الموقع. لذلك دعونا نمضي قدمًا ونقوم بتحميل ملف robots.txt من جهاز الكمبيوتر الخاص بك إلى موقع الويب الخاص بك.

1.2) قم بتحميل ملف Robots.txt إلى WordPress

بمجرد توصيل موقعك بعميل FTP ، يجب عليك الانتقال إلى الدليل الجذر لموقعك على الويب لأن هذا هو المكان الذي يجب أن يوجد فيه ملف robots.txt.

يشار إلى ملف الجذر أيضًا باسم ملف " public_html ".

يمكنك تحميل ملف robots.txt الذي تم إنشاؤه مؤخرًا هنا. إذا كان ملف robots.txt موجودًا بالفعل في هذا الملف ، فاستبدله.

هذا كل شيء!

الآن كل ما عليك فعله هو اختبار ملف robots.txt عن طريق إضافة مسار "/robots.txt" في نهاية المجال ، تمامًا كما أوضحنا لك في الأمثلة السابقة.

2) تحرير ملف robots.txt باستخدام cPanel

يعد تحرير ملف robots.txt باستخدام cPanel مشابهًا جدًا لنهج عميل FTP. أولاً ، يجب عليك تسجيل الدخول إلى cPanel في موقع الويب الخاص بك. مرة أخرى ، يجب أن تكون جميع بيانات اعتماد تسجيل الدخول الضرورية قد تم توفيرها بالفعل بواسطة خدمة الاستضافة الخاصة بك.

بعد تسجيل الدخول إلى cPanel ، قم بالتمرير إلى قسم الملفات وانقر فوق File Manager .

بعد ذلك ، انتقل إلى دليل ملف " public_html " وقم بتحميل ملف robots.txt الذي تم إنشاؤه مؤخرًا هنا. مرة أخرى ، إذا كان ملف robots.txt موجودًا بالفعل هنا ، فأنت بحاجة إلى استبداله بالملف الذي تم تحريره حديثًا.

أخيرًا ، اختبر ملف robots.txt الخاص بك عن طريق إضافة مسار "/robots.txt" في نهاية المجال الخاص بك.

3) تحرير ملف robots.txt باستخدام البرنامج المساعد

إذا كنت تريد توفير الكثير من الوقت والجهد لتحرير صفحة robots.txt ، فيمكنك أيضًا استخدام مكون إضافي. تتيح لك العديد من المكونات الإضافية لتحسين محركات البحث مثل Yoast SEO و All in One SEO و Rank Math SEO إنشاء ملف robots.txt وتحريره.

يمكنك إلقاء نظرة على قائمتنا الكاملة لأفضل إضافات WordPress SEO إذا كنت بحاجة إلى مزيد من المعلومات لمساعدتك في تحديد المكون الإضافي الذي تريد استخدامه.

لكننا سنستخدم المكون الإضافي Rank Math SEO لهذا العرض التوضيحي. إنها واحدة من أكثر إضافات تحسين محركات البحث شيوعًا ولها واجهة مباشرة للغاية لتحرير ملف robots.txt. لنبدأ بتثبيت البرنامج المساعد.

3.1) تثبيت وتنشيط البرنامج المساعد

لتثبيت المكون الإضافي ، يجب عليك الانتقال إلى الإضافات> إضافة جديد من لوحة معلومات WordPress والبحث عن الكلمات الرئيسية للمكون الإضافي أولاً. بعد رؤية المكون الإضافي في محركات البحث ، انقر فوق التثبيت الآن . سيستغرق التثبيت بضع لحظات فقط.

بمجرد اكتمال التثبيت ، انقر فوق "تنشيط" لتنشيط المكون الإضافي.

إذا كنت ترغب في استخدام أي من المكونات الإضافية المتميزة ، فيجب عليك تحميلها يدويًا. يمكنك إلقاء نظرة على دليلنا التفصيلي حول تثبيت مكون WordPress الإضافي يدويًا لمزيد من المعلومات.

علاوة على ذلك ، إذا واجهت أي مشكلة أثناء إعداد Rank Math SEO ، فلدينا أيضًا دليل محدد حول كيفية إعداد Rank Math.

3.2) تحرير ملف Robots.txt

بعد تنشيط المكون الإضافي ، انتقل إلى Rank Math> General Settings من لوحة معلومات WordPress الخاصة بك وحدد علامة التبويب تحرير ملف robots.txt . يمكنك أن ترى أن المكوّن الإضافي قد وفر لك محرر النصوص الخاص به لتحرير ملف robots.txt في هذا القسم.

هنا ، يجب عليك إضافة جميع الرموز والأوامر اعتمادًا على صفحات الويب التي تريد أن تقوم الروبوتات بالزحف إليها وفهرستها. إذا كنت بحاجة إلى أي مساعدة في ذلك ، فقد قدمنا ​​جميع الإرشادات اللازمة في هذا البرنامج التعليمي في إحدى الخطوات السابقة.

بمجرد إضافة جميع الأوامر والتوجيهات المطلوبة لملف robots.txt ، انقر فوق حفظ التغييرات .

عظيم! الآن إذا أضفت مسار "/robots.txt" في نهاية المجال ، فسترى أنه تم تحديث الملف وفقًا لذلك. لذلك سوف تمر روبوتات محرك البحث فقط عبر صفحات الويب التي سمحت بها بناءً على ملف robots.txt.

خاتمة

هذه هي الطريقة التي يمكنك من خلالها إنشاء ملف robots.txt وتحريره في WordPress . من الضروري القيام بذلك إذا كنت لا تريد أن تمر روبوتات محرك البحث عبر محتوى حساس أو مكرر لموقع الويب الخاص بك. يمكن أيضًا استخدام ملف robots.txt لتوجيه الروبوتات للزحف إلى صفحات معينة في موقعك على الويب وفهرستها.

للتلخيص ، يمكنك تحرير ملف robots.txt بثلاث طرق رئيسية:

• باستخدام عميل FTP
• cPanel
• مع البرنامج المساعد

استخدام عميل FTP و cPanel متشابهان جدًا . كل ما عليك فعله هو تسجيل الدخول إلى cPanel أو توصيل موقع الويب الخاص بك بعميل FTP وتحميل ملف robots.txt. بعد ذلك ، يجب عليك تحميل ملف robots.txt الذي قمت بإنشائه يدويًا في وقت سابق.

من ناحية أخرى ، ستتم إضافة ملف robots.txt تلقائيًا إلى موقع الويب الخاص بك إذا كنت تستخدم مكونًا إضافيًا . توفر المكونات الإضافية أيضًا محرر نصوص لمساعدتك في تحرير ملف robots.txt.

فهل يمكنك تعديل ملف robots.txt لموقعك على الويب الآن؟ أخبرنا في التعليقات ما إذا كنت قد جربته من قبل.

في هذه الأثناء ، إذا وجدت هذه المقالة مفيدة ، فإليك بعض المنشورات التي يمكنك استخدامها لتخصيص موقع WordPress الخاص بك أو تحسينه:

• كيفية تحسين ووردبريس SEO: 9 طرق
• أفضل ملحقات WordPress SSL (مجانية ومدفوعة)
• كيفية إضافة أوصاف Meta في WordPress