بهبود سئو سایت، با اسپایدر گوگل بات(Googlebot) چگونه رفتار کنیم؟

امروزه درصد زیادی از افراد اطلاعات موردنیاز خود را از طریق گوگل پیدا می کنند، در واقع موتور جستجوی گوگل به قدرت بلامنازع دنیای جستجوگرها تبدیل شده است، پس باید حواستان به سوگلی گوگل یعنی اسپایدر گوگل بات باشد.

در این بین اگر چه تولید محتوای با کیفیت و لینک های ارزشمند از اهمیت بالایی برای سئو برخوردار است اما نباید از نقش تاثیرگذار سئو تکنیکال غافل شوید، آشنایی با رفتار و طرز فکر گوگل بات یک مهارت اساسی و مهم در تکنیکال سئو محسوب می شود، پس با ما همراه باشید تا اسپایدر ارزشمند گوگل را با جزئیات بیشتری بررسی کنیم.

گوگل بات(Googlebot) چیست؟

گوگل بات خزنده وب(Web Crawler) متعلق به شرکت گوگل است که به منظور پیدا کردن و بازیابی صفحات وب استفاده می شود، این خزنده از میلیاردها صفحه وب بازدید می کند و دائما در حال گشت و گذار در بین صفحات وب سراسر اینترنت است، اطلاعات جمع آوری شده توسط گوگل بات نهایتا برای ثبت(ایندکس) به دیتابیس موتور جستجوی گوگل ارسال می شود.

خزنده وب معمولا با نام هایی همچون بات(Bot)، اسپایدر(Spider) و ربات(Robot) نیز شناخته می شود، خزنده نوعی نرم افزار است که برای دنبال کردن پیوندها(Links)، جمع آوری اطلاعات و ارسال اطلاعات به مکانی دیگر طراحی شده است.

گوگل بات تنها اسپایدر اینترنت نیست، در لیست زیر به برخی دیگر اشاره می کنیم:

  • Bingbot : خزنده موتور جستجوی بینگ شرکت مایکروسافت
  • Slurp Bot : خزنده یاهو
  • Alexa Crawler : خزنده سرویس الکسای آمازون
  • DuckDuckBot : خزنده موتور جستجوی Duck Duck Go

تصویر زیر مربوط به ابزار ترافیک لحظه ای(Live Traffic) افزونه Wordfence Security است که جزئیات دسترسی گوگل بات به یکی از صفحات وب را نشان می دهد.

گوگل بات در افزونه wordfence

گوگل بات و گوگل ایندکس چه فرقی با هم دارند؟

گوگل بات محتوای صفحه وب را بدون هیچگونه قضاوتی بر روی داده ها بازیابی می کند(کلمات، کد، منابع و هر چیزی که صفحه وب را تشکیل می دهد)، سپس داده های جمع آوری شده را برای پیش پردازش به گوگل ایندکس ارسال می کند تا در دیتابیس موتور جستجو ثبت شود.

آیا گوگل بات صفحات من را می بیند؟

برای اینکه مطمئن شوید صفحات وب سایت تان در موتور جستجوی گوگل ایندکس می شود کافی است از اپراتور “:site” به صورت زیر استفاده کنید، توجه داشته باشید که هیچ فضای خالی بین :site و آدرس دامنه وجود نداشته باشد.

عملگر site در گوگل

اگر تعداد صفحات از حد انتظارتان کمتر بود مطمئن شوید گوگل بات در فایل robots.txt بلاک نشده باشد.

چگونه هوای گوگل بات را داشته باشیم؟

وقتی که وب سایت تان را راه اندازی و مدیریت می کنید ممکن است تمام تمرکز خود بر روی کاربران معطوف کرده باشید، اما باید حواستان به گوگل بات هم باشد، بسیار مهم است که صفحات وب سایت تان ایندکس شود، اشتباها مسیر گوگل بات را مسدود نکرده باشید و نکات مهم دیگری که در ادامه آنها را بررسی می کنیم.

۱- فایل Robots.txt

فایل robots.txt یک فایل متنی ساده اما تاثیرگذار است که در روت وب سایت تان قرار می گیرد، این فایل یکی از اولین چیزهایی است گه گوگل بات در فرآیند کرال یک وب سایت جستجو می کند، قویا توصیه می شود فایل robots را ایجاد کنید و مسیر نقشه سایت(XML Sitemap) را هم در آن مشخص نمائید.

با فایل robots.txt می توانید گوگل بات را کنترل کنید.

روش های مختلفی برای بهینه سازی فایل روبوت وجود دارد، اما مهم است که اینکار را با احتیاط انجام دهید، ممکن است توسعه دهنده ای کل وب سایت را در وضعیت بلاک(disallow) قرار داده باشد و عملا دسترسی اسپایدر به صفحات وب را مسدود کند، این اتفاق مخصوصا زمانی رخ می دهد که یک سایت را از محیط توسعه به سرور لایو منتقل می کنید.

فراموش نکنید پس از تصحیح اشتباه امکان دستیابی به ترافیک ارگانیک و بازگشت رتبه بندی چندین هفته طول خواهد کشید.

۲- نقشه سایت(XML Sitemap)

نقشه سایت یکی از روش های کلیدی است که به Goolebot کمک می کند صفحات یک وب سایت را به راحتی شناسایی کند.

تکنیک های مختلفی برای بهینه سازی این فایل وجود دارد:

  • آدرس هایی که در فایل robots.txt مسدود شده اند را از نقشه سایت حذف کنید.
  • صفحات بی ارزشی همچون “حریم خصوصی” و “سبد خرید” را از آن خارج نمائید.
  • فقط از یک سایت مپ ایندکس استفاده کنید.

و نکات مهم دیگری که پیشنهاد می کنیم با جزئیات بیشتر در مطلب نقشه سایت چیست، چگونه یک نقشه سایت سئو پسند داشته باشیم؟ مطالعه فرمائید.

۳- سرعت وب سایت

قابل توضیح نیست که سرعت وب سایت به یکی از فاکتورهای مهم رتبه بندی مخصوصا برای دستگاههای موبایل تبدیل شده است، اگر سرعت بارگذاری سایت تان خیلی کند باشد ممکن است گوگل بات رتبه شما را پایین بیاورد.

ابزارهای مختلفی برای تست و ارزیابی سرعت سایت وجود دارد، می توانید از Pingdom، GTmetrix و Google Page Speed Insights استفاده کنید، در نهایت اگر به اطلاعات بیشتری احتیاج دارید مطلب آموزشی GTmetrix: ابزاری قدرتمند برای ارزیابی سرعت وب سایت در این زمینه به شما کمک خواهد کرد.

۴- اسکیما(Schema)

در صورتی که اسکیما(داده های ساختارمند و معنایی) را به وب سایت تان اضافه کنید گوگل بات بهتر می تواند هدف و محتوای صفحات را درک کند، اما در این زمینه همیشه از راهنمای گوگل پیروی کنید.

اسکیما مجموعه ای از تگ های معنایی است که در صفحات وب سایت تان قرار می دهید، این تگ ها به موتور جستجو کمک می کند تا جزئیات و اطلاعات مفیدتری در صفحات SERP ارائه کند. مثلا تاریخ انتشار یک مطلب یا تعداد آرا و میانگین یک محصول.

برای پیاده سازی اسکیما توصیه می شود از JSON-LD استفاده کنید.

۵- تگ کنونیکال(Canonical)

یکی از مشکلاتی که وب سایت های بزرگ با آن دست و پنجه نرم می کنند وجود صفحات تکراری(Duplicate) است، این مشکل به دلایل مختلفی اتفاق می افتد، مثلا: ایجاد محتوای چند زبانه، تولید آدرس های داینامیک و نسخه موبایل سایت.

برای درک بهتر موضوع به آدرس های زیر دقت کنید:

  • https://startuptuts.com
  • http://www.startuptuts.com
  • http://startuptuts.com

احتمالا URL های فوق از دید شما یکسان و مشابه هستند، اما گوگل بات آنها را به صورت سه صفحه مجزا و مستقل از یکدیگر شناسایی خواهد کرد، در واقع ما سه صفحه تکراری از صفحه اصلی وب سایت داریم که محتوای آنها شبیه به یکدیگر است.

در چنین مواقعی برای اینکه سئو وب سایت تان دچار مشکل نشود لازم است با تگ کنونیکال صفحه شاخص و مهمتر را به گوگل بات معرفی کنید تا فقط یک نسخه در موتور جستجوی گوگل ایندکس شود.

برای جلوگیری از این مشکل کد زیر را در بخش Head صفحه اصلی وب سایت قرار می دهیم.

نمونه ای از تگ کنونیکال

۶- فایل های CSS و Javascript

در صورتی که امکان دسترسی گوگل بات به فایل های CSS و جاوا اسکریپت را از طریق فایل robots.txt مسدود کرده باشید فرآیند رندر و کرال صفحات با مشکل مواجه خواهد شد، به عنوان مثال می خواهید کاربران موبایلی وب سایت تان ظاهر صفحات را به گونه ای دیگر تجربه نمایند، حال اگر گوگل بات به این فایل ها دسترسی نداشته باشد متوجه نمی شود که صفحات فوق برای موبایل طراحی شده است.

گوگل بات باید به تمامی منابع یک صفحه وب از جمله فایل های جاوا اسکریپت و CSS دسترسی داشته باشد.

۷- تصاویر

گوگل سال های طولانی است که به اهمیت بالای بهینه سازی تصاویر اشاره دارد، چرا که Googlebot نمی تواند محتوای تصاویر را پردازش کرده و تشخیص دهد، به همین دلیل باید با توضیحات متنی ماهیت و هدف تصویر را برای آن مشخص نمائید.

برای این منظور می توانید به صورت زیر عمل کنید:

  • نام فایل(Image file name) : سعی کنید تا آنجایی که امکان دارد ماهیت فایل را در چند کلمه توصیف کنید.
  • متن جایگزین(Image alt text) : در این قسمت می توانید با کلمات بیشتری محتوای فایل را مشخص کنید.
  • داده های ساختاری(Structured Data) : می توانید با اسکیما جزئیات دقیق تری برای تصویر تعیین نمائید.
  • نقشه سایت(XML Image Sitemap) : گوگل قویا توصیه می کند از یک سایت مپ جداگانه برای شناسایی تصاویر وب سایت تان استفاده کنید.

به عنوان مثال می توانید در سیستم مدیریت محتوای وردپرس متن جایگزین را در هنگام افزودن تصویر وارد کنید.

متن جایگزین alt در وردپرس

۸- عنوان صفحه و متای توضیحات

عنوان صفحه(Title Tag) و متای توضیحات(Meta Description) بهینه سازی شده از دو جهت حائز اهمیت است:

  1. منجر به رتبه بندی بالاتر صفحات خواهد شد.
  2. کاربر آنها را در صفحات SERP مشاهده خواهد کرد و نرخ کلیک(CTR) و ورود به سایت را افزایش می دهد.

صفحه نتایج موتورهای جستجو serp

با اینکه موارد فوق جزئی از اصول اولیه سئو هستند اما همچنان ارزش خود را دارند، چرا که گوگل بات آنها را با دقت می خواند. از این رو پیشنهاد می کنیم مطلب در سئو عنوان صفحه (تگ تایتل) به چه نکاتی توجه کنیم؟ را مطالعه فرمائید.

۹- لینک های شکسته(Broken Links)

همانطور که می دانید لینک های شکسته تجربه کاربری ضعیفی را به کاربران منتقل می کند و از همه مهمتر اینکه می تواند بودجه خزنده را هدر دهد، اما جان مولر از تیم موتور جستجوی گوگل اعلام کرده است که لینک های خراب بودجه خزنده را کاهش نمی دهد، با این حال شما ریسک نکنید و لینک های شکسته را اصلاح یا حذف نمائید.

بودجه خزنده(Crawl Budget) تعداد صفحاتی از وب سایت تان است که گوگل بات در هر روز کرال خواهد کرد، این تعداد ممکن است در هر روز متفاوت باشد اما نسبتا پایدار است.

برای پیدا کردن لینک های شکسته می توانید از ابزار گوگل سرچ کنسول یا موارد دیگری مثل Broken Link Check استفاده نمائید.

۱۰- زنجیره تغییر مسیر(Redirect Chains)

یکی از نکات مهمی که در مورد ریدایرکشن باید بدانید این است که حداکثر از چه تعداد ریدایرکت ۳۰۱ به صورت زنجیره ای استفاده کنیم. در تصویر زیر گوگل بات مسیری از ریدایرکت ها را دنبال کرده است و نهایتا در URI 4 به طور کامل متوقف شده است، در صورتی که می خواهید بدین صورت عمل کنید حداکثر از ۳ ریدایرکت استفاده نمائید.

زنجیره تغییر مسیر یا redirect chains

به هیچ عنوان از ریدایرکت های ۳۰۱ و ۳۰۲ به صورت ترکیبی استفاده نکنید، با اینکار گوگل بات را سر در گم و گیج می کنید.

جمع بندی

گوگل بات با استفاده از پیوندها، نقشه سایت و ابزار URL Inspection گوگل سرچ کنسول می تواند صفحات وب را سریعتر کرال کند، همچنین پیاده سازی اصولی لینک های داخلی به گوگل بات کمک می کند تا صفحات مرتبط را بهتر شناسایی نماید.

در پایان لازم است بدانید که موتور جستجوی گوگل از ۹ خزنده استفاده می کند:

  • Googlebot
  • Googlebot Smartphone
  • Googlebot Images
  • Googlebot Video
  • Googlebot News
  • Google Mobile
  • Google Adsense
  • Google Mobile Adsense
  • Google Adsbot
نظرات و سوالات کاربران

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *