كيفية إزالة عناوين URL من بحث Google (5 طرق)

إزالة عناوين URL من بحث Google

هناك العديد من الطرق ل إزالة عناوين URL من بحث Google ، ولكن لا يوجد نهج واحد يناسب الجميع.
كل هذا يتوقف على ظروفك. هذه نقطة مهمة يجب فهمها. لن يؤدي استخدام الطريقة الخاطئة في بعض
الأحيان إلى عدم إزالة الصفحات من الفهرس على النحو المنشود فحسب ، بل يمكن أن يكون له أيضًا
تأثير سلبي على تحسين محركات البحث.

لمساعدتك في تحديد طريقة الإزالة الأفضل لك بسرعة ، أدرجنا لك مخطط انسيابي  من موقع اهريفس سيساعدك
في تحديد الطريقة الانسب لك.

إزالة عناوين URL من بحث Google 1
إزالة عناوين URL من بحث Google 22

كيفية التحقق من فهرسة URL

عادة في السيو يمكنك معرفة فيما اذا كان المحتوى قد تمت فهرسته  هو استخدام الطريقة التالية :
 موقع: بحث في Google (على سبيل المثال ، site: https: //ahrefs.com).

ولكن عمليات البحث هذه مفيدة لتحديد صفحات الموقع التي قد تكون مشكلة إذا ظهرت في نتائج البحث
يجب أن تكون حذرًا لأنها ليست طلبات بحث عادية ولن تخبرك بالفعل ما إذا كانت الصفحة مفهرسة.
قد يعرضون الصفحات المعروفة لـ Google ، ولكن هذا لا يعني أنها مؤهلة للعرض في نتائج البحث العادية.

على سبيل المثال ، عندما تستخدم طريقة  site: فانه  بإمكان عمليات البحث إظهار الصفحات التي تعيد
التوجيه أو يتم تحويلها إلى صفحة أخرى. عندما تطلب موقعًا معينًا ، قد تُظهر Google صفحة من هذا
النطاق تتضمن المحتوى والعنوان والوصف من نطاق آخر.
المثال على ذلك موقع  moz.com الذي كان seomoz.org. أي استعلامات مستخدم منتظمة تؤدي
إلى صفحات على moz.com ستظهر moz.com في SERPs ، بينما سيعرض
الموقع: seomoz.org seomoz.org في نتائج البحث كما هو موضح أدناه.

seo

سبب هذا هو أنه يمكن أن يدفع خبراء السيو  إلى ارتكاب أخطاء مثل الحظر أو إزالة عناوين URL
من الفهرس للنطاق القديم ، مما يمنع دمج إشارات مثل PageRank. هناك العديد من الحالات مع
عمليات ترحيل النطاق حيث يعتقد  أنهم ارتكبوا خطأ أثناء الترحيل لأن هذه الصفحات لا تزال تظهر
في الموقع: عمليات بحث old-domain.com وينتهي بهم الأمر بإيذاء موقعهم الإلكتروني أثناء
محاولة “إصلاح” المشكلة.

أفضل طريقة للتحقق من الفهرسة

هي استخدام تقرير تغطية الفهرس في Google Search Console ،
أو أداة فحص عنوان URL لعنوان URL فردي. تخبرك هذه الأدوات إذا كانت الصفحة مفهرسة وتوفر
معلومات إضافية حول كيفية تعامل Google مع الصفحة. إذا لم يكن لديك حق الوصول إلى ذلك ، فما
عليك سوى البحث في Google عن عنوان URL الكامل لصفحتك.

في أداة  Ahrefs ، إذا وجدت الصفحة في تقرير “Top pages” أو في organic keywords،
فهذا يعني عادةً أنها  مرتبة لاستعلامات البحث العادية وهي إشارة جيدة إلى أن الصفحة تمت فهرستها.
لاحظ أنه تمت فهرسة الصفحات عندما شاهدناها ، ولكن ربما تغير ذلك. تحقق من تاريخ آخر مرة رأينا
فيها الصفحة للاستعلام.

إذا كانت هناك مشكلة في عنوان URL معين وتحتاج إلى الإزالة من الفهرس ، فاتبع المخطط الانسيابي
في بداية المقالة للعثور على خيار الإزالة الصحيح ، ثم انتقل إلى القسم المناسب أدناه.

خيار الإزالة 1: حذف المحتوى

إذا قمت بإزالة الصفحة وعرضت رمز حالة 404 (not found) أو 410 (gone) ، فستتم إزالة
الصفحة من الفهرس بعد فترة وجيزة من إعادة الزحف إلى الصفحة. حتى يتم إزالتها ، قد تظل الصفحة
تظهر في نتائج البحث. وحتى إذا لم تعد الصفحة نفسها متاحة ، فقد تتوفر نسخة مخبأة من الصفحة مؤقتًا.

متى قد تحتاج إلى خيار مختلف:

  • أحتاج إلى إزالة فورية. راجع قسم أداة إزالة عناوين URL.
  • أحتاج إلى دمج عدة روابط. راجع قسم التخصيص.
  • أحتاج إلى الصفحة المتاحة للمستخدمين. تحقق مما إذا كانت أقسام noindex أو تقييد الوصول تتناسب مع موقفك.

خيار الإزالة 2: Noindex

ستخبر علامة noindex meta robots أو استجابة x‑robots محركات البحث بإزالة صفحة
من الفهرس. تعمل  meta robots tag للصفحات بينما تعمل استجابة x-robots للصفحات
وأنواع الملفات الإضافية
مثل ملفات PDF. لكي تظهر هذه العلامات ، يجب أن يكون محرك البحث قادرًا على الزحف إلى الصفحات
لذا تأكد من عدم حظرها في ملف robots.txt. لاحظ أيضًا أن إزالة الصفحات من الفهرس قد تمنع دمج
الارتباط وإشارات أخرى.

مثال noindex meta robots:

<meta name=”robots” content=”noindex”>

مثال x‑robots noindex tag في ترويسة الاستجابة:

HTTP/1.1 200 OK
X-Robots-Tag: noindex

متى قد تحتاج إلى خيار مختلف:

  • لا أريد أن يصل المستخدمون إلى هذه الصفحات. راجع قسم تقييد الوصول.
  • أحتاج إلى دمج عدة صفحات لمنع التكرار. راجع قسم التخصيص.

خيار الإزالة 3: تقييد الوصول

إذا كنت تريد أن تكون الصفحة قابلة للوصول إلى بعض المستخدمين وليس محركات البحث ،
فإن ما تريده أحد هذه الخيارات الثلاثة:

  1. نوع من نظام تسجيل الدخول ؛
  2. مصادقة HTTP (حيث يلزم كلمة مرور للوصول) ؛
  3. القائمة البيضاء لعناوين IP (التي تسمح فقط لعناوين IP محددة بالوصول إلى الصفحات)

هذا النوع من الإعداد هو الأفضل لأشياء مثل الشبكات الداخلية أو محتوى الأعضاء فقط أو مواقع التدريج
أو الاختبار أو التطوير. يسمح لمجموعة من المستخدمين بالوصول إلى الصفحة ، ولكن لن تتمكن محركات
البحث من الوصول إليها ولن تقوم بفهرسة الصفحات.

متى قد تحتاج إلى خيار مختلف:

أحتاج إلى إزالة فورية. راجع قسم أداة إزالة عناوين URL. في هذه الحالة بالذات ، قد ترغب في إزالة فورية
أكثر إذا تم تخزين المحتوى الذي تحاول إخفاءه مؤقتًا ، وتحتاج إلى منع المستخدمين من رؤية هذا المحتوى.

خيار الإزالة 4: أداة إزالة URL

اسم هذه الأداة من Google مضلل بعض الشيء حيث أن طريقة عملها هي إخفاء المحتوى مؤقتًا.
ستستمر Google في مشاهدة هذا المحتوى والزحف إليه ، ولكن الصفحات لن تظهر للمستخدمين.
يستمر هذا التأثير المؤقت لمدة ستة أشهر في Google ، بينما تمتلك Bing أداة مماثلة تستمر لمدة ثلاثة
أشهر. يجب استخدام هذه الأدوات في الحالات الأكثر تطرفًا لأمور مثل مشكلات الأمان ، وتسريبات
البيانات ، ومعلومات التعريف الشخصية (PII) ، وما إلى ذلك.
بالنسبة إلى Google ، استخدم أداة الإزالة ، وبالنسبة لـ Bing ، انظر كيفية حظر عناوين URL.

لا تزال بحاجة إلى تطبيق طريقة أخرى مع استخدام أداة الإزالة من أجل إزالة الصفحات لفترة
أطول (noindex أو delete) أو منع المستخدمين من الوصول إلى المحتوى إذا كان لا يزال
لديهم الروابط (حذف أو تقييد الوصول). يمنحك هذا طريقة أسرع لإخفاء الصفحات بينما يكون للإزالة
وقت لمعالجة. يمكن أن يستغرق الطلب ما يصل إلى يوم لتتم معالجته.

خيار الإزالة 5: التخصيص

عندما يكون لديك عدة اصدارات من الصفحة محتوى مكرر وترغب في دمج  الروابط إلى نسخة واحدة ،
فإن ما تريد القيام به هو شكل من أشكال التخصيص. وهذا  لمنع المحتوى المكرر duplicate content
أثناء دمج إصدارات متعددة من الصفحة إلى عنوان URL واحد مفهرس.

لديك العديد من الخيارات :

  • Canonical tag.  وجود نسخ مكررة لمحتوى هذه الصفحات في صفحات أخرى على نفس الموقع!  يسبب مشكلة في عدم حصولك على ترتيب جيد لذلك فان سمة الـ rel=”canonical” تساعد
    في تجنب الخسارة في ترتيب صفحات موقعك  بسبب وجود نسخ مماثلة لها في عدة روابط ف
    ي موقعك .فيكون الحل باعطاء غوغل اولولية لصفحة واحدة وفهرستها وتجاهل الصفحات المماثلة .

وذلك من خلال اضافة العنصر link   على الرابط كما في المثال :
<link rel=”canonical”href=” https://el-jokr.com/seo-site-optimization-guide-how-search-engines-work/ ″/>

فهذه السمة سوف تخبر غوغل ان هذه الصفحة هي الاكثر استخداما من قبل المستخدمين .

  • Redirects اعادة التوجيه 301 الصفحة التي تحتوي محتوى مكرر, يمكنك أن توجه الزوار
    و عناكب محركات البحث الى صفحة أخرى ذات محتوى أصلي بشكل دائم .
    اما  إعادة توجيه  302  فهي مؤقتة اي يتم نقل الصفحة بشكل مؤقت
  • URL parameter handling.هذه الاداة من غوغل تسمح بمعالجة العنوان لتجنب المحتوى المتكرر وهناك معلمات لتعديل المحتوى وومعلمات تتبع .

كيفية تحديد أولويات عمليات الإزالة

إذا كانت لديك عدة صفحات لإزالتها من فهرس Google ، فيجب ترتيبها وفقًا لذلك.

أعلى أولوية: عادةً ما تكون هذه الصفحات مرتبطة بالأمان أو تتعلق بالبيانات السرية. يتضمن
هذا المحتوى الذي يحتوي على البيانات الشخصية (PII) أو بيانات العميل أو معلومات الملكية.

أولوية متوسطة: يتضمن هذا عادةً محتوى مخصصًا لمجموعة معينة من المستخدمين. شبكات إنترانت
الشركة أو بوابات الموظفين ، والمحتوى مخصص للأعضاء فقط ، وبيئات الاختبار ، أو التطوير.

أولوية منخفضة: تتضمن هذه الصفحات عادةً محتوى مكررًا من نوع ما. تتضمن بعض الأمثلة على ذلك
الصفحات التي يتم عرضها من عناوين URL متعددة ، وعناوين URL ذات معلمات .

أخطاء الإزالة الشائعة التي يجب تجنبها:

Noindex في ملف robots.txt

على الرغم من أن Google اعتادت على دعم noindex في ملف robots.txt بشكل غير رسمي ،
إلا أنه لم يكن معيارًا رسميًا مطلقًا ، وقد أزالوا الآن الدعم رسميًا. العديد من المواقع التي كانت تقوم بذلك
كانت تقوم بذلك بشكل غير صحيح وتؤذي نفسها.

المنع من الزحف في ملف robots.txt

الزحف ليس مثل الفهرسة. حتى إذا تم حظر Google من الزحف إلى الصفحات ، إذا كانت هناك أي
ارتباطات داخلية أو خارجية للصفحة ، فلا يزال بإمكانها فهرستها. لن يعرف Google ما هو موجود
في الصفحة لأنهم لن يقوموا بالزحف إليه ، لكنهم يعرفون أن الصفحة موجودة وسيكتبون عنوانًا لعرضه
في نتائج البحث استنادًا إلى إشارات مثل نص رابط الروابط إلى الصفحة.

Nofollow

يستخدمه بعض الأشخاص على مستوى الصفحة متوقعين عدم فهرسة الصفحة. يعد Nofollow تلميحًا ،
وبينما أوقف في الأصل الروابط على الصفحة والروابط الفردية مع السمة nofollow من الزحف ،
لم يعد هذا هو الحال. يمكن لـ Google الآن الزحف إلى هذه الروابط إذا أرادوا ذلك.

Noindex و canonical

يوجد تضارب بين هذه الاشارات , Noindex لإزالة الصفحة من الفهرس ، و canonical أن صفحة
أخرى هي النسخة التي يجب فهرستها.
هناك خوارزمية متضمنة وهناك خطر أن تكون علامة noindex هي الإشارة المحسوبة. وبالتالي لن يتم دمج الصفحات بشكل صحيح.

Noindex تنتظر حتى يزحف Google ، ثم تحظر الزحف:

هناك طريقتان :

  1. تم حظر الصفحات بالفعل ولكن تم فهرستها ، ويضيف الأشخاص noindex ويقومون
    بإلغاء حظر حتى يتمكن Google من الزحف ورؤية noindex ، ثم منع الصفحات
    من الزحف مرة أخرى.
  2. يضيف الأشخاص علامات noindex للصفحات التي يريدون إزالتها وبعد أن يقوم
    Google بالزحف إلى علامة noindex ومعالجتها ، فإنهم يمنعون الصفحات من الزحف.

في كلتا الحالتين ، يتم منع الزحف النهائي. إذا كنت تتذكر سابقًا ، فقد تحدثنا عن أن الزحف ليس مثل الفهرسة.
على الرغم من أن هذه الصفحات محظورة ، إلا أنها يمكن أن تنتهي في الفهرس.

ماذا لو كان المحتوى خاص بك وموجودعلى موقع  لاتملكه؟

إذا كنت تمتلك المحتوى الذي يتم استخدامه على موقع ويب آخر يمكنك تقديم مطالبة بناءً على قانون
الألفية الجديدة لحقوق طبع ونشر المواد الرقمية (DMCA). يمكنك استخدام أداة إزالة حقوق الطبع والنشر
من Google للقيام بما يسمى إزالة المحتوى وفقًا لقانون الألفية الجديدة لحقوق طبع ونشر المواد الرقمية ،
والذي يطلب إزالة أي مادة محمية بحقوق الطبع والنشر.

ماذا لو كان محتوى عنك وليس على موقع تملكه؟

إذا كنت مقيمًا في الاتحاد الأوروبي ، فيمكنك إزالة محتوى يحتوي على معلومات عنك بفضل أمر محكمة
من أجل نسيان الحق. يمكنك طلب إزالة المعلومات الشخصية باستخدام نموذج إزالة خصوصية الاتحاد
الأوروبي.

إزالة الصور

لإزالة الصور من Google ، فإن أسهل طريقة هي باستخدام ملف robots.txt فإن عدم السماح
بالزحف إلى الصور هو الطريقة الصحيحة لإزالة الصور.

لصورة واحدة:

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg 

لجميع الصور:

User-agent: Googlebot-Image
Disallow: /

اقرأ أيضاَ :

السيو للمبتدئين: 9 نصائح لتحسين محركات البحث لعام 2020

إزالة عناوين URL من بحث Google- إزالة عناوين URL من بحث Google-