نوشته قبلی نوشته بعدی چرا و چگونه Bing برای بهبود خزنده خود ، بینگ بوت برنامه ریزی می کند

چرا و چگونه Bing برای بهبود خزنده خود ، بینگ بوت برنامه ریزی می کند

چرا و چگونه Bing برای بهبود خزنده خود ، بینگ بوت برنامه ریزی می کند منتشر شده در آوریل 5, 2020ارسال دیدگاه

علاقه مند به حوزه Seo & Sem

ژوئن گذشته سال ۲۰۱۸ ، در کنفرانس SMX Advanced در سیاتل ، من اعلام کردم که طی ۱۸ ماه آینده تیم من بر بهبود خزنده ما بینگبوت تمرکز خواهد کرد.

بگذارید از فرصت این پست استفاده کنم تا پیشرفت و یادگیری های خود را در این سفر به اشتراک بگذارم.

تبلیغات
ادامه خواندن زیر

چرا خزیدن را بهینه می کنید؟

اولین چیزها ، ابتدا توضیح دهید که چرا موتورهای جستجو باید وب و چالشهای پیش رویشان را خزند.

خزنده Bing ، Bingbot یک عنصر اصلی سکوی بینگ است. عملکرد اصلی Bingbot این است که:

  • برای به دست آوردن جدیدترین مطالب و کشف پیوندهای جدید از لینکهای شناخته شده موجود ، صفحات وب را بارگیری کنید.
  • تأیید کنید که اسناد وب قبلاً ایندکس شده هنوز معتبر هستند ، اما پیوندهای مرده نیستند و به شما کمک می کنند تا شاخص Bing را جامع و تازه نگه دارید تا به سؤالات مشتری با نتایج مربوطه پاسخ دهید.

به عنوان مثال ، مشتریان بینگ که در جستجوی جدیدترین پرتاب موشک فضایی هستند ، می توانند فقط چند ثانیه پس از این پرتاب موشک ، صفحات وب مربوطه جدید را جستجو و پیدا کنند. برای اینکه بتوانیم به این URL های جدید پیوند دهیم ، باید آنها را کشف ، انتخاب ، خزیدن ، پردازش و سپس ایندکس کنیم.

تبلیغات
ادامه خواندن زیر

برای کشف این URL های جدید ، ما باید برای نظارت بر URL های جدید ، مرتباً URL های شناخته شده موجود را خز کنیم.

پس از کشف ، ما مجبور به خزیدن می شویم تا محتوای این URL های جدید را بدست آوریم.

ما باید برای خاموش کردن تغییرات احتمالی در محتوای محتوای خود ، به طور مرتب خزیدن به این URL های تازه نمایه شده را ادامه دهیم و تأیید کنیم که این صفحات وب هنوز معتبر هستند ، نه لینک های مرده.

به عبارت دیگر ، ما بیش از یک بار URL را در سیستم خود خز می کنیم.

به روز ماندن و گسترده تر کردن فهرست بینگ به دو دلیل یک چالش جالب است:

مقیاس بزرگ

شبکه جهانی گسترده است و با سرعتی سریع در حال رشد است. تیم من هر روز بیش از ۱۰۰ میلیارد URL جدید را که قبلاً دیده نشده است کشف می کند ، در حالی که پارامترهای URL بی فایده نادیده گرفته می شوند.

تبلیغات
ادامه خواندن زیر

در حالی که بسیاری از این URL های جدید بی فایده هستند ، برخی از آنها URL های عالی با محتوای مناسب برای مشتریان بینگ ما هستند.

کدام URL ها باید جمع شوند یا نباید دریافت شوند؟

تنوع

وب سایتها عبارتند از:

  • ساخته شده بر روی سیستم های مختلف مدیریت محتوا از جمله راه حل های سفارشی.
  • میزبان شرکتهای مختلف میزبانی وب و شبکه های تحویل محتوا.
  • توسط افراد متنوعی که اهداف مختلفی در رابطه با موتورهای جستجو دارند مدیریت می شود.

چگونه باید به هر مورد رسیدگی شود؟

ما گاهی اوقات از طرف صاحبان وب سایت نگرانی هایی را شنیده ایم مبنی بر اینکه Bingbot سایت خود را به سرعت و سرعتی نمیخورد.

پیشنهاد ویژه  چگونه و چرا مطابقت عصبی Google بر سایت شما تأثیر می گذارد

ما همچنین نگرانی هایی را شنیدیم که گاهی اوقات Bingbot خیلی از وب سایت ها را خزنده می کند.

تبلیغات
ادامه خواندن زیر

خزیدن درست یک مشکل مهندسی جذاب است که هنوز به طور کامل حل نشده است. بنابراین ما در حال بهبود توجه و حل آن در سطح جهانی هستیم.

ما چه چیزی را بهینه می کنیم؟

قبل از تمرین در مورد آنچه تیم من برای بهبود خزنده ما انجام می دهد ، اجازه دهید معیارهای کلیدی مورد نظر ما را به اشتراک بگذارم.

برای برآوردن نیاز به طراوت و جامع بودن محتوا ، تیم من در بینگ باید یک سیاست زمانبندی خزیدن موثر و کارآمد داشته باشد که از محدودیتهای بارگیری وب سایت ها پیروی کند. یک راه حل کارآمد که می تواند:

  • تنوع صدها میلیون میزبان و میلیاردها صفحه وب را که Bingbot هر روز خزنده است ، مقیاس و اداره کنید.
  • ضمن اینکه از خرابی سایت استفاده می کنید ، تمام بازیگران – وب مسترها ، وب سایت ها و سیستم های مدیریت محتوا را راضی کنید و اطمینان حاصل کنید که ما در حال خزیدن زیاد نیستیم.
تبلیغات
ادامه خواندن زیر

عملکرد خزنده ما از طریق سه معیار اصلی قابل اندازه گیری است:

اثربخشی خزیدن

هر صفحه در فهرست بینگ باید نسخه جدیدی از نسخه وب آن باشد. صفحات وب بیشتر از آنچه فکر می کنند بیشتر وب مسترها تغییر می کنند:

  • قیمت محصولات فروخته شده ممکن است روزانه تغییر کند.
  • صفحات هوا به طور کلی یک بار در روز برای هر شهر در جهان تغییر می کند.
  • تاریخ های حق چاپ هر ساله تغییر می کنند.
  • تبلیغات بینابینی ممکن است HTML را در صفحه تزریق کند.
  • زمان در صفحات وب سیاتل هر ثانیه تغییر می کند.
  • تغییرات در محتوای طرحواره از نظر یک بازدید کننده وب سایت قابل مشاهده نیست!

تشخیص تفاوت معنادار محتوای آنچنان که مردم فکر می کنند نیست.

کارآیی خزیدن

ما فقط به روزرسانی می شویم (محتوای جدید در صفحه / پیوندهای خروجی مفید) یا URL های جدید.

تبلیغات
ادامه خواندن زیر

در حالت ایده آل ، ما به محض اینکه مطالب به صورت زنده پخش می شود ، URL جدیدی را خز می کنیم و فقط یک بار پس از به روزرسانی محتوای صفحه وب یا اگر آنها به یک لینک مرده تبدیل شوند یا دوباره هدایت شوند ، دوباره آنها را خزیدیم.

متأسفانه ، ما هیچ سیگنالی در مورد تغییر محتوا در برخی سایت ها محدود نکرده ایم. در این سایتها ، ما فقط کور می کنیم که متوجه می شویم محتوا تغییر کرده است.

از محدودیت های ادب وب سایت اطاعت کنید

ما هیچ وقت بیشتر از آنچه مدیر وب سایت می خواهد خزنده نیستیم.

مشکل این است که صاحبان وب سایت نیازهای SEO مختلفی دارند و کم و بیش با موتورهای جستجو درگیر هستند.

در حالی که برخی از دارندگان سایت ها از سهمیه خزیدن روزانه خود از طریق ابزارهای بینگ مدیر وبینگ به بینگ اطلاع می دهند ، اما اکثر سایتها اینگونه نیستند. به نوبه خود ، موتور جستجو مجبور می شود سهمیه اختصاص یافته را حدس بزند.

تبلیغات
ادامه خواندن زیر

در گفتگو با وب مسترها ، متوجه شدیم که آنها نیازهای متفاوتی دارند.

پیشنهاد ویژه  25+ ایده های منحصر به فرد ارسال وبلاگ برای جذب خوانندگان خود

برخی از آنها می خواهند همه صفحات خود را روزانه خزنده کنید تا اطمینان حاصل شود که ما آخرین مطالب را همیشه داریم ، در حالی که برخی از وب مسترها درخواست دارند که فقط محتوای به روز شده را خز کنیم.

چگونه بهینه سازی می کنیم؟

چالش Bingbot این است که فقط یک بار نمی تواند صفحات وب را بدست آورد.

همانطور که در بالا اشاره کردم ، پس از انتشار یک صفحه ، ما باید آن را مرتباً واکشی کنیم تا متوجه شویم آیا محتوای آن به روز شده است یا خیر و این یک لینک مرده نیست.

این مسئله که ما می خواهیم با کمک شما بهینه سازی کنیم ، تعیین چه چیزی و چه موقع بار دیگر است.

از آنجا که رایانه ها سرویس دهنده های بسیار خوبی و کارآمد می کنند ، ما از آنها استفاده می کنیم تا مدل هایی را برای خزیدن URL ها و چه موقع ها انجام دهند.

تبلیغات
ادامه خواندن زیر

اما از آنجایی که ما نمی خواهیم کاملاً به رایانه ها اعتماد کنیم ، وب مسترها و تیم من کنترل نهایی را در مورد چگونگی URL در روز می توانیم در سایت خزنده کنیم.

خط مشی پیش فرض خزیدن ما این است که در هنگام خزیدن در وب تا حد ممکن مودب باشید.

برای بهینه سازی ما سرمایه گذاری خود را در دو زمینه متمرکز می کنیم:

شناسایی الگوهای برای مجاز کردن Bingbot برای کاهش فرکانس خزیدن

در اکثر سایت ها ، در حالی که ممکن است روزانه صفحات وب جدید ارسال شود ، و برخی از صفحات به طور مرتب به روز می شوند ، اما اکثر مطالب به طور کلی ماهها و حتی سال ها ویرایش نمی شوند.

بدون تغییر قابل ملاحظه محتوای صفحات قبلی ، سایت ها با محتوای جدید و به روز افزایش می یابند.

مدل سازی بهتر و درک تغییرات محتوا در هر سایت یکی از اهداف اصلی تیم من است. ما قبلاً در بسیاری از سایت ها بهبود یافته ایم و پیشرفت های بسیار بیشتری در حال انجام است.

تبلیغات
ادامه خواندن زیر

اعمال نکات مربوط به مدیر وب سایت

هنگامی که ما از منابع به عنوان فید (Atom، RSS) و نقشه های سایت برای کشف URL های جدید و به روز استفاده می کنیم ، هنوز لازم است این URL ها را برای کشف URL های جدید بکشیم – در اغلب موارد ، هیچ چیز تغییر نکرده است.

همچنین، ما فقط اعلام کرد که توانایی دریافت محتوای مدیران سایت، نمایه سریع با ارسال تا ۱۰،۰۰۰ URL ها در هر روز برای بینگ.

این یک افزایش قابل توجه در تعداد URL هایی است که یک مدیر وب سایت می تواند در هر روز ارسال کند ، تا محتوای آنها خزیده شده و نمایه شود. این یک سیگنال قدرتمند برای ما در سایت است که به خزیدن دریچه گاز می پردازیم.

اگر در مورد هر تغییر به ما بگویید ، این امر نیاز به خزیدن را برای کشف چنین تغییراتی محدود می کند و سریع محتوای خود را ایندکس می کنید.

پیشنهاد ویژه  Google در مورد تأثیر صفحات با کیفیت پایین در رتبه بندی های سایتهای ساکن

بنابراین ما همه را ترغیب می كنیم كه API های مدیر وب مستر Bing را ترجیحاً در سیستم های مدیریت محتوا خود ادغام كنند تا در زمان واقعی تغییر در محتوای خود به ما بگویید و از خراشیدن زباله های خزنده بر روی محتوایی كه تغییر نمی دهند جلوگیری كنید. Yoast حمایت خود را از این API اعلام کرد .

تبلیغات
ادامه خواندن زیر

Star Trek's Spock گفت که می توان شروع کرد به تغییر شکل چشم انداز با یک گل واحد. من معتقدم که این API ارسال URL یک گام درست است که باعث تغییر شکل چشم انداز خزنده ، حرکت صنعت در پیش رو ، نجات زمین از خزیدن کره زمین خواهد شد.

می توانید ارسال API URL در دو مرحله آسان را امتحان کنید:

مرحله ۱: شناسه API ابزار Bing Webmaster خود را برای سایت خود دریافت کنید.

مرحله ۲: URL های جدید را برای سایت خود ارسال کنید.

به عنوان مثال با استفاده از wget . شناسه را با شناسه API خود ، siteUrl توسط آدرس سایت Url ، و URL bing توسط URL از سایت خود جایگزین کنید .

wget.exe "https://ssl.bing.com/webmaster/api.svc/pox/SubmitUrl؟apikey= 7737def21c404dcdaf23bea715e61436 " -header = "محتوا-نوع: برنامه / xml؛ charset = utf-8 ″ –post-data = "<SubmitUrl xmlns = " http: //schemas.datacontract.org/2004/07/Microsoft.Bing.Webmaster.Api "> <siteUrl> http: // www .bing.com </siteUrl> <url> http://www.bing.com/fun/؟test=test </url> </SubmitUrl> "

تبلیغات
ادامه خواندن زیر

برای سایتهایی که هنوز قادر به پذیرش API ارسال URL نیستند ، ما به اعمال برنامه ریزی بهتر و بهبود برنامه ریزی خزیدن روی سیگنالهای محتوای موجود ادامه خواهیم داد تا در مورد تغییر محتوا و بهینه سازی آن اطلاعات کسب کنند.

بهترین کار این است که یک نقشه سایت داشته باشید که تمام URL های مربوط را در سایت خود لیست کرده و حداقل یک بار در روز آن را تازه کنید ، و همچنین به عنوان فیدهای RSS که URL ها و نشانی های اینترنتی جدید خود را با محتوای به روز شده دارند ، لیست کنند.

ما همچنین توصیه می کنیم نقشه ها و RSS خود را یک بار در ابزارهای بینگ Webmaster ارسال کنید تا مطمئن شوید که از آنها آگاهی داریم و با کشف URL های جدید ، تجزیه و تحلیل های خود را بررسی کنید.

پس از ارسال ، ما آنها را به طور منظم (در اکثر موارد ، حداقل یک بار در روز) کنترل می کنیم که به جلو حرکت می کنند.

نتیجه

در حالی که ما در حال پیشرفت هستیم ، کار ما با بهبود راندمان خزنده هنوز انجام نشده است.

تبلیغات
ادامه خواندن زیر

ما هنوز فرصت های زیادی را در پیش داریم تا بتوانیم بازده و توانایی های خزنده خود را در صدها نوع مختلف داده استفاده کنیم که برای بهبود الگوریتم برنامه ریزی خزنده ما استفاده می کنند.

منابع بیشتر:

منبع مقاله

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *