كيفية تحسين ملف Robots.txt في WordPress (أدلة متقدمة)

ربما سمع الكثير منكم عن ملف robots.txt ولكن هل تعرف مكانه وكيف يبدو؟ الأهم من ذلك ، هل تعرف كيفية تحسين ملف robot.txt في WordPress لتعزيز تحسين محركات البحث؟

ستغطي هذه المقالة هذه الأسئلة لتعطيك صورة صحيحة وواضحة لملف WordPress robots.txt. من هناك ، يمكنك الاستفادة من الملف لزيادة ظهورك عبر الإنترنت على SERPs أو إخفاء المحتوى الحساس الخاص بك عن أعين الجمهور.

سنبدأ بموقع ملف robots.txt وأمثلة عليه ونسلط الضوء على طرق تحرير الملف ، ثم نختتم هذا المنشور بنصائح متقدمة حول تحسين ملف robots.txt في WordPress.

دعنا نتعمق!

• أين موقع WordPress robot.txt؟
• كيفية تحرير ملف robot.txt في WordPress؟
• كيفية تحسين ملف Robots.txt WordPress الخاص بك من أجل تحسين محركات البحث

أين موقع WordPress robots.txt؟

يوجد ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك. مهمتها الرئيسية هي توجيه روبوتات محركات البحث حول كيفية الزحف إلى موقعك وفهرسته. على وجه الخصوص ، يمنع وصول محرك البحث إلى ملفات ومجلدات معينة.

يستخدم العديد من مالكي مواقع WordPress ملف robots.txt لتثبيط فهرسة البحث . هذا يبدو غير بديهي ، أليس كذلك؟ بالنظر إلى حقيقة أن مُحسّنات محرّكات البحث أو الفوز بالمركز الأول في SERPs يلعب عنصرًا حاسمًا في نجاح الأعمال عبر الإنترنت.

ومع ذلك ، إذا كان موقعك في وضع التطوير ، أو يحتوي على بعض المحتوى منخفض الجودة أو المحتوى الشخصي ، فإن ملف robot.txt يثبت أنه مفيد في حظر الزحف إلى هذا المحتوى وفهرسته. من هنا ، يمكنك تحسين ملف robots.txt في WordPress الخاص بك لإعطاء الأولوية لصفحاتك المقصودة العليا مثل صفحات المبيعات أو صفحات المنتج أو المنشورات الدعائية.

في نفس الملاحظة ، يمكنك أيضًا تحسين حصة الزحف الخاصة بك . حصة الزحف ، أو ميزانية الزحف ، تشير إلى عدد الصفحات على موقع WordPress الخاص بك التي تزحف إليها روبوتات Google في أي وقت محدد. يساعد السماح لصفحاتك المهمة بالزحف إلى الميزانية في فهرستها بسرعة وترتيبها في الصفحة الأولى من نتائج البحث.

ومع ذلك ، ضع في اعتبارك تحسين ملف robots.txt لأنه قد يضر مُحسنات محركات البحث إذا تم إجراؤه بشكل سيئ.

مثال على WordPress Robots.txt

يمكنك رؤية ملف robots.txt لأي موقع ويب عن طريق إضافة /robots.txt في نهاية اسم المجال. لذلك سيبدو ملف robots.txt مثل هذا.

وكيل المستخدم في ملف robots.txt هو محرك البحث الذي يقرأ ملف robots.txt. إذا تم تمييز وكيل المستخدم بعلامة النجمة ، فهذا يعني أنه يعطي الضوء الأخضر لجميع محركات البحث.

في ملفات robots.txt ، السماح وعدم السماح بإخبار برامج الروبوت بالصفحات والمحتوى الذي يمكنهم الزحف إليه وما لا يمكنهم الزحف إليه. كما ترى ، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في admin-ajax في WordPress ، ومنعنا الوصول إلى المكونات الإضافية ومجلدات المسؤول.

خريطة الموقع هي ملف XML يحتوي على قائمة وتفاصيل لجميع الصفحات الموجودة على موقع الويب الخاص بك.

كيفية تحرير ملف robots.txt في WordPress؟

أسهل طريقة لتحرير ملف robots.txt في WordPress هي استخدام المكونات الإضافية. هناك العديد من الإضافات القوية لتحسين محركات البحث (SEO) التي تتفوق في مساعدتك في تحرير ملف robots.txt ، كل في SEO واحد ، و YoastSEO ، و RankMath ، وما إلى ذلك على سبيل المثال لا الحصر.

بصرف النظر عن ذلك ، يمكنك أيضًا طلب المساعدة من المكونات الإضافية التي تم تطويرها فقط لتحسين ملف robots.txt في WordPress الخاص بك مثل Virtual Robots.txt و WordPress Robots.txt الأمثل وغير ذلك الكثير.

بدلاً من ذلك ، يمكنك تحرير الملف يدويًا عبر عميل FTP. أولاً ، تحتاج إلى توصيل موفر استضافة WordPress الخاص بك باستخدام عميل FTP. بعد ذلك ، حدد موقع ملف robots.txt في الدليل الجذر لموقعك على الويب.

إذا كنت لا ترى ملف robot.txt هناك ، فمن المحتمل أن موقعك لا يحتوي عليه. لا تفزع ، فقط قم بإنشاء واحدة جديدة. انقر بزر الماوس الأيمن واختر "إنشاء ملف جديد" ثم قم بتنزيله على سطح المكتب. Robots.txt هو ملف نصي عادي ، مما يعني أنه يمكنك تنزيله وتحريره كالمعتاد مثل الملفات الأخرى باستخدام برامج تحرير النصوص مثل Wordpad أو Notepad.

بعد ذلك ، حدِّث تغييراتك ، وحمِّل ملف robots.txt الذي تم تعديله إلى المجلد الجذر مرة أخرى ، وبذلك تكون قد انتهيت.

اختبر ملف Robots.txt الخاص بك

تحتاج إلى التأكد من أن ملف robot.txt يعمل كالمعتاد بعد الإصدار. في حالة حدوث أي أخطاء ، فقد يؤدي ذلك إلى استبعاد موقع الويب الخاص بك من صفحات نتائج البحث.

من بين مجموعة كبيرة من أدوات اختبار robots.txt الموجودة هناك ، نوصيك باستخدام Google Search Console ، مما يتيح لك اختبار ملف robots.txt الخاص بك مجانًا.

تأكد من أنك أرسلت بالفعل عنوان URL لموقع الويب الخاص بك إلى Google Search Console ، بحيث تتحقق الأداة من مصادقتك. إذا لم يكن الأمر كذلك ، فراجع دليلنا حول كيفية إرسال موقعك إلى محركات البحث.

فأنت جيد في استخدام أداة اختبار الروبوتات في Google Search Console. بمجرد تحديد خاصية في القائمة المنسدلة ، تنتقل الأداة مباشرة من الخفاش عبر الملف ثم تُعلمك إذا كان هناك أي أخطاء وتحذيرات.

أكثر من ذلك ، تتيح لك الأداة الدخول إلى صفحة معينة على موقعك ثم تحديد وكيل مستخدم معين للتحقق مما إذا كانت هذه الصفحة تقوم بالفهرسة محظورة أو مقبولة.

يمكنك تحرير الملف مباشرة على الأداة وإعادة تشغيل الاختبار. ومع ذلك ، فإن الملف الفعلي لا يزال دون تغيير. قد تحتاج إلى نسخ الإصدار ولصقه في الملف الفعلي وحفظه هناك.

كيفية تحسين ملف Robots.txt WordPress الخاص بك من أجل تحسين محركات البحث

يوصى بشدة بعدم السماح انتقائيًا ببعض صفحاتك الحساسة ، مثل / wp-admin / و / wp-content / plugins / و / trackback / و /readme.html ، بينما تظل البقية "سماح".

علاوة على ذلك ، يمكنك تحسين ملف WordPress robots.txt الخاص بك عن طريق إضافة خريطة الموقع إليه. بينما يوفر WordPress خريطة الموقع الخاصة به ، يمكنك استخدام إضافات تحسين محركات البحث مثل YoastSEO أو All in One SEO لإنشاء ملفك المخصص. إنها تمنحك القدرة على إنشاء خرائط مواقع منفصلة للمنشورات والصفحات.

عند هذه النقطة ، ستؤدي إضافة خرائط المواقع هذه إلى ملف robots.txt الخاص بك إلى تعزيز زحف الروبوتات بسرعة وسهولة أكبر.

علاوة على ذلك ، على الرغم من فكرة التحسين ، يُنصح بشدة بعدم المبالغة في لمس ملف robots.txt أو الإفراط في تحريره. هذا لأن تغيير الكثير في الملف يمكن أن يضر ببنية صفحتك ويخطئ في إعلام الروبوتات بمنع الزحف إلى موقعك.

لذا ، الأقل هو الأكثر. تحتاج فقط إلى التركيز على خريطة موقعك واكتشاف أهم صفحاتك أولاً.

عزز ظهورك على الإنترنت الآن!

يعد ملف Robots.txt ملفًا مهمًا يتيح لك تحسين حصة الزحف بشكل استراتيجي وإخفاء المحتوى الخاص من فهرسة البحث.

لقد أوضحت لك هذه المقالة ما هو ملف robots.txt ، ومكان العثور عليه ، وكذلك كيفية تحرير الملف. لقد قدمنا ​​لك أيضًا كيفية تحسين ملف robots.txt في WordPress من أجل تحسين محركات البحث. الشيء هو أنه كلما قل الإصدار في ملف robots.txt ، كان ذلك أفضل. ولا تنس إضافة خريطة موقع مخصصة إلى الملف لتعزيز رؤية صفحتك الرئيسية.

ماذا تنتظر؟ عزز ظهورك على الإنترنت باستخدام ملف robot.txt الآن!