نوشته قبلی نوشته بعدی Google Can URL های مسدود شده را بدون خزیدن فهرست بندی کند

Google Can URL های مسدود شده را بدون خزیدن فهرست بندی کند

Google Can URL های مسدود شده را بدون خزیدن فهرست بندی کند منتشر شده در آوریل 5, 2020ارسال دیدگاه

علاقه مند به حوزه Seo & Sem

جان مولر گوگل به تازگی یک توییت توسط مشاور بازاریابی جستجو Barry Adams (از Polemic Digital) را دوست داشت که بطور خلاصه هدف پروتکل محرومیت robots.txt را بیان می کرد. او موضوعی قدیمی را تازه کرد و احتمالاً روش جدیدی را برای فکر کردن در اختیار ما گذاشت.

تبلیغات
ادامه خواندن زیر

صفحات مسدود شده Google می تواند فهرست شود

این مسئله هنگامی شروع شد که یک ناشر توئیت کرد که گوگل وب سایتی را که توسط robots.txt مسدود شده است ، فهرست بندی کرده است.

تصویر صفحه صدای جیر جیر شخصی توسط شخصی که می گوید گوگل صفحه وب را که توسط Robots.txt مسدود شده است ، فهرست بندی کرد

جان مولر پاسخ داد :

وی افزود: " URL ها می توانند بدون اینکه خزنده شوند ، ایندکس شوند ، اگر توسط robots.txt مسدود شده باشند – این با طراحی است.

معمولاً این مربوط به پیوندهایی از جایی است ، و با قضاوت از این تعداد ، جایی را تصور می کنم از درون سایت شما. "

تبلیغات
ادامه خواندن زیر

چگونه Robots.txt کار می کند

باری (@ badams ) توییت کرد :

"Robots.txt ابزاری برای مدیریت خزیدن است ، نه یک ابزار مدیریت فهرست."

ما اغلب به Robots.txt فکر می کنیم راهی برای مسدود کردن Google از قرار دادن یک صفحه از فهرست Google. اما robots.txt فقط راهی برای مسدود کردن صفحات Google می باشد.

به همین دلیل است که اگر سایت دیگری به صفحه خاصی پیوند داشته باشد ، گوگل صفحه را خزیده و نمایه می کند (تا حدی).

Barry سپس در ادامه توضیح داد که چگونه می توانید صفحه ای را از فهرست Google خود دور نگه دارید:

"از دستورالعمل های روبات های متا یا هدرهای X-Robots-Tag HTTP برای جلوگیری از ایندکس کردن استفاده کنید – و (به طور مستقیم و بصری) به Googlebot اجازه دهید صفحاتی را که نمی خواهید آن را فهرست بندی کنید ، خزنده کند تا این دستورالعمل ها را مشاهده کند."

تبلیغات
ادامه خواندن زیر

NoIndex متا Tag

تگ meta noindex اجازه می دهد تا صفحات خزنده از فهرست گوگل حفظ نشوند. این خزیدن صفحه را متوقف نمی کند ، اما اطمینان می دهد که این صفحه از فهرست Google خارج خواهد شد.

پیشنهاد ویژه  جان مولر گوگل: هنگام تغییر جهت URL های هاسبگ ، جاوا اسکریپت لازم است

تگ meta noindex نسبت به پروتکل محرومیت robots.txt از ایندکس شدن صفحه وب برتر است.

این همان چیزی است که جان مولر در توئیتی از اوت سال ۲۰۱۸ گفت

"… اگر می خواهید از نمایه سازی آنها جلوگیری کنید ، من می خواهم از متا تگ های noindex به جای robots استفاده کنم. پسوند مجاز نیست."

عکس صفحه صدای جیر جیر توسط جان مولر ، توصیه می کند برچسب متداول noindex را برای جلوگیری از فهرست شدن صفحه وب در Google

روبات های متا تگ استفاده های بسیاری دارند

نکته جالب در مورد تگ های متا ربات ها این است که می توان از آن برای حل مسائل استفاده کرد تا اینکه اصلاح بهتری حاصل شود.

تبلیغات
ادامه خواندن زیر

به عنوان مثال ، یک ناشر در تولید کدهای پاسخ ۴۰۴ مشکل داشت زیرا چارچوب angularJS باعث تولید ۲۰۰ کد وضعیت می شود.

وی که از وی درخواست کمک می کند گفت:

سلام @ JohnMu I´m با مدیریت ۴۰۴ صفحه در angularJS با مشکلات زیادی روبرو هستم ، همیشه به من ۲۰۰ وضعیت بدهید. آیا راهی برای حل آن وجود دارد؟ با تشکر

تصویر یک توییت در حدود 400 صفحه که به عنوان 200 کد پاسخ پاسخ داده می شود

جان مولر استفاده از ربات های noindex ربات را پیشنهاد کرد. این امر باعث می شود گوگل آن صفحه کد ۲۰۰ پاسخ را از فهرست حذف کند و آن صفحه را ۴۰۴ نرم قلمداد کند.

تبلیغات
ادامه خواندن زیر

"من می خواهم یک صفحه خطای معمولی ایجاد کنم و فقط یک متا تگ ربات noindex به آن اضافه کنم. ما آن را نرم ۴۰۴ می نامیم ، اما خوب است. "

بنابراین ، حتی اگر صفحه وب یک کد پاسخ ۲۰۰ نشان می دهد (این بدان معنی است که صفحه با موفقیت انجام شد) ، متا تگ ربات ها صفحه را از فهرست Google حفظ نمی کنند و گوگل با آن رفتار می کند که گویی صفحه پیدا نشده است ، یعنی پاسخ ۴۰۴

پیشنهاد ویژه  Google کنفرانس های رایگان وب مستر را اعلام می کند

تصویر توییت جان مولر در توضیح نحوه عملکرد متا تگ رباتها

توضیحات رسمی روبات ها متا تگ

مطابق مستندات رسمی در کنسرسیوم وب جهانی ، نهاد رسمی که استانداردهای وب را تصمیم می گیرد (W3C) ، این کاری است که روبات متا تگ انجام می دهد :

تبلیغات
ادامه خواندن زیر

ربات ها و عنصر META
عنصر META به نویسندگان HTML اجازه می دهد تا به روبات های بازدید کننده بگویند آیا یک سند ممکن است نمایه شود یا از آن برای برداشتن لینک های بیشتر استفاده شود. "

اینگونه توصیف می کند که اسناد W3c Robots.txt را شرح می دهند :

"وقتی یک روبات از یک وب سایت بازدید می کند ، اولین چک برای … robots.txt را انجام می دهد. اگر بتواند این سند را پیدا کند ، محتوای آن را تجزیه و تحلیل می کند تا ببیند آیا اجازه بازیابی این سند وجود دارد. "

تصویر صفحه ای از W3c که نشان دهنده استاندارد رسمی برای متا تگ ربات ها است

W3c نقش Robots.txt را مانند دروازبان دروازه برای بازیابی پرونده ها تفسیر می کند . بازیابی به معنای خزیدن توسط یک روبات است که از پروتکل طرد Robots.txt پیروی می کند.

تبلیغات
ادامه خواندن زیر

باری آدامز در توصیف محرومیت Robots.txt به عنوان روشی برای مدیریت خزیدن ، نه ایندکس کردن صحیح بود .

این ممکن است مفید باشد که از Robots.txt مانند محافظان امنیتی در درگاه سایت خود باشید و برخی صفحات وب را مسدود کنید. ممکن است کمی از فعالیت عجیب Googlebot در صفحات وب مسدود شده آسان شود.

منابع بیشتر

تبلیغات
ادامه خواندن زیر

تصاویر توسط Shutterstock ، اصلاح شده توسط نویسنده
عکس های نویسنده ، اصلاح شده توسط نویسنده

منبع مقاله

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *