نوشته قبلی نوشته بعدی همه چیز شما باید درباره X-Robots-Tag بدانید

همه چیز شما باید درباره X-Robots-Tag بدانید

همه چیز شما باید درباره X-Robots-Tag بدانید منتشر شده در آوریل 3, 2020ارسال دیدگاه

علاقه مند به حوزه Seo & Sem

چند نوع بخشنامه وجود دارد که به ربات های موتور جستجو می گوید کدام صفحات و سایر رباتهای موتور جستجوگرها اجازه خزیدن و نمایه سازی دارند . رایج ترین پرونده های مربوط به پرونده robots.txt و برچسب meta robots هستند.

تبلیغات
ادامه خواندن زیر

پرونده robots.txt به موتورهای جستجو می گوید که می توانند قسمت خاصی از وب سایت خود را ، چه یک صفحه ، یک زیر پوشه و غیره ، خزنده کنند.

این در نهایت کمک می کند تا با گفتن به بخش های مهم کمتر سایت ، به یک خزیدن بهینه تر کمک کنید که نمی خواهید ایندکس بندی اولویت بندی شود.

البته به خاطر داشته باشید که رباتهای موتور جستجو برای رعایت این پرونده لازم نیست.

بخشنامه دیگری که معمولاً مورد استفاده قرار می گیرد ، برچسب روبات های متا است. این امکان کنترل فهرست بندی را در سطح صفحه فراهم می کند.

یک برچسب متا روبات می تواند مقادیر زیر را شامل شود:

  • فهرست: به موتورهای جستجوگر اجازه می دهد تا صفحه را به فهرست خود اضافه كنند.
  • Noindex: موتورهای جستجو را از افزودن صفحه ای به فهرست آنها امتناع می کند و آن را از ظاهر شدن در نتایج جستجو برای آن موتور جستجوگر خاص منع نمی کند.
  • دنبال کنید: موتورهای جستجو را راهنمایی کنید تا پیوندها را در یک صفحه دنبال کنند ، تا این خزیدن بتواند صفحات دیگری را پیدا کند
  • Nofollow: به موتورهای جستجو دستور می دهد تا پیوندها را در صفحه دنبال نکنند.
  • هیچ کدام: این میانبر برای noindex است ، nofollow.
  • همه: این میانبر برای فهرست است ، دنبال کنید.
  • Noimageindex: موتورهای جستجو را از ایندکس کردن تصاویر در یک صفحه منع نمی کند (اگرچه در صورت پیوند با سایت دیگری می توانید تصاویر را با استفاده از برچسب روبات های متا نمایه سازی کنید).
  • Noarchive: به موتورهای جستجو می گوید نسخه ذخیره شده ی صفحه را نشان ندهند.
  • Nocache: این همان برچسب noarchive است ، اما مخصوص Bingbot / MSNbot است.
  • Nosnippet: به موتورهای جستجو دستور می دهد قطعه متنی یا ویدیویی را نمایش ندهند.
  • Notranslate: به موتورهای جستجو دستور می دهد ترجمه های یک صفحه را در SERP نشان ندهند.
  • Unavailable_after: روز و ساعت خاصی به موتورهای جستجو می گوید که آنها نباید نتیجه ای را در فهرست خود نشان دهند.
  • Noyaca: به رباتهای خزنده Yandex دستور می دهد که در نتایج از توضیحات صفحه استفاده نکنید.
تبلیغات
ادامه خواندن زیر

با این حال ، برچسب دیگری وجود دارد که امکان صدور دستورالعمل های noindex ، nofollow را می دهد.

پیشنهاد ویژه  عکاسی سهام تاثیر در سئو

X-Robots-Tag با تگ پرونده robots.txt و متا ربات های متا متفاوت است ، با این وجود ، در این نکته که X-Robots-Tag بخشی از هدر HTTP است که علاوه بر عناصر خاص ، ایندکس کردن صفحه را در کل کنترل می کند. در یک صفحه

طبق گوگل :

"هر بخشنامه ای که می تواند در متا تگ ربات ها استفاده شود نیز می تواند به عنوان برچسب X-Robots-Tag مشخص شود."

در حالی که می توانید دستورالعمل های مربوط به robots.txt را در هدرهای پاسخ HTTP با هر دو تگ meta robots و X-Robots Tag تنظیم کنید ، موقعیت هایی وجود دارد که می خواهید از تگ ربات های x استفاده کنید.

تبلیغات
ادامه خواندن زیر

به عنوان مثال ، اگر می خواهید یک تصویر یا فیلم خاص را مسدود کنید ، می توانید از روش پاسخ HTTP استفاده کنید.

در اصل ، قدرت X-Robots-Tag این است که بسیار انعطاف پذیرتر از برچسب روبات های متا است.

عبارات منظم همچنین می تواند مورد استفاده قرار گیرد ، اجرای دستورالعمل های خزیدن بر روی فایل های غیر HTML و همچنین اعمال پارامترها در سطح جهانی و بزرگتر.

برای توضیح بیشتر تفاوت بین همه این بخشنامه ها ، مفید است که آنها را در نوع بخشنامه هایی که تحت آن قرار می گیرند ، طبقه بندی کنیم. این یا دستورالعمل خزنده یا دستورالعمل فهرست بندی هستند.

دستورالعمل های خزنده راهنمای ایندکسر
Robots.txt – از نماینده کاربر استفاده می کند ، اجازه می دهد ، اجازه نمی دهد و دستورالعمل های نقشه سایت را مشخص می کند که در کجای سایت که ربات های موتور جستجو اجازه خزیدن دارند و اجازه خزیدن نمی شود. برچسب Meta Robots – به شما امکان می دهد موتورهای جستجو را از نمایش صفحات خاص در یک سایت در نتایج جستجو مشخص و جلوگیری کنید.

Nofollow – به شما امکان می دهد پیوندهایی را مشخص کنید که نباید در مجوز یا PageRank منتقل شوند

X-Robots-tag – به شما امکان می دهد چگونه انواع فایل مشخص شده را فهرست بندی کنید

تبلیغات
ادامه خواندن زیر

نمونه های دنیای واقعی و موارد استفاده از X-Robots-Tag

برای مسدود کردن انواع پرونده های خاص ، یک روش ایده آل می تواند X-Robots-Tag را به پیکربندی Apache یا یک پرونده .htaccess اضافه کند.

پیشنهاد ویژه  سئو منفی و رتبه بندی گمشده؟ این را بخوان

X-Robots-Tag را می توان در تنظیمات سرور آپاچی از طریق پرونده .htaccess به پاسخ های HTTP سایت اضافه کرد.

به عنوان مثال ، بیایید بگوییم که ما می خواستیم موتورهای جستجوگر نیازی به فهرست بندی فایلهای ppf نداشته باشند. این پیکربندی در سرورهای Apache چیزی شبیه به شکل زیر است:

x-robots-tag

در Nginx ، مانند زیر است:

تبلیغات
ادامه خواندن زیر

x-robots-tag

در یک سناریوی متفاوت ، بیایید بگوییم که می خواهیم از X-Robots-Tag استفاده کنیم تا نمایه سازی پرونده های تصویری مانند .jpg ، .gif ، .png و غیره مسدود شود. نمونه ای از این موارد مانند زیر است:

x-robots-tag

شناخت ترکیب این بخشنامه ها و تأثیر آنها بر یکدیگر بسیار مهم است.

تبلیغات
ادامه خواندن زیر

بگویید که هر دو برچسب X-Robots-Tag و Meta Robots در هنگام ردیابی رباتهای خزنده یک URL قرار دارند.

اگر آن URL از robots.txt مسدود شده باشد ، برخی از دستورالعمل های نمایه سازی و سرویس دهی قابل کشف نیستند و دنبال نمی شوند.

اگر بخشنامه ها رعایت شود ، URL های حاوی آن ها نمی توانند از خزیدن جدا شوند.

بررسی برچسب X-Robots-Tag

چند روش مختلف وجود دارد که می توانید برای بررسی یک X-Robots-Tag در سایت استفاده کنید.

یک روش از طریق Screaming Frog است.

پس از اجرای یک سایت از طریق Screaming Frog ، می توانید به برگه "Directives" بروید و به دنبال ستون "X-Robots-Tag" باشید و سپس ببینید که کدام بخش های سایت از برچسب استفاده می کند ، همراه با دستورالعمل های خاص.

تبلیغات
ادامه خواندن زیر

جیغ کشیدن قورباغه

همچنین چند افزونه مختلف در آنجا وجود دارد ، مانند افزونه Web Developer ، که به شما این امکان را می دهد تا تعیین کنید که آیا X-Robots-Tag مورد استفاده قرار می گیرد یا خیر.

پیشنهاد ویژه  How to Improve Site Performance: 4 Speed Audit Quick Wins

با کلیک روی افزونه در مرورگر خود و سپس حرکت به "مشاهده پاسخ هدرها" ، می توانید هدرهای مختلف HTTP مورد استفاده را مشاهده کنید.

افزونه توسعه دهنده وب

خلاصه

روش های مختلفی برای آموزش ربات های موتورهای جستجو برای خزیدن بخش های خاص یا منابع خاص در یک صفحه وجود ندارد.

تبلیغات
ادامه خواندن زیر

شناختن هر یک از آنها و چگونگی تأثیرگذاری آنها بر یکدیگر ، برای جلوگیری از هرگونه خطای عمده مربوط به بخشنامه جستجوگرها بسیار مهم است.

منابع بیشتر:


اعتبار تصویر

عکس و تصاویر برجسته گرفته شده توسط نویسنده ، ژوئن ۲۰۱۹

منبع مقاله

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *