هر سایتی که مدیریت و سئوی آن بر عهده شما باشد، زمانی به رتبه خوبی در گوگل می‌رسد که بتوانید از تمام ابزارهای لازم استفاده کرده و ترافیک ارگانیک قابل‌قبولی را به سمتش روانه کنید تا کاربران هم بر اساس همین رتبه بالا در موتور جستجو اعتماد بیشتری به سایتتان داشته باشند. یکی از این ابزارهای لازم و ضروری که هر سئوکار یا مدیر سایتی به آن نیاز دارد، ابزار کرال استت در سرویس خدمات گوگل سرچ کنسول است که وضعیت خزش ربات‌های گوگل در سایت را قرار است به ما نشان دهد. با این مقدمه بیایید درباره کرال استتس در سرچ کنسول بیشتر صحبت کرده و نحوه استفاده از آن را آموزش دهیم.
گوگل چگونه سایتها را بررسی می‌کند؟
در قدم اول بیایید با نحوه بررسی سایتها توسط گوگل صحبت کنیم. گوگل می‌خواهد بهترین نتایج را به کاربرانش نشان دهد پس زمانی که شما مطلبی را در گوگل جستجو کند، گوگل هم مرتبط‌ترین و بهترین موارد را که ربات‌هایش پیدا کرده باشند، نشانتان می‌دهد.
پیداکردن و بررسی این نتایج بهتر و مرتبط‌تر از طریق ربات‌هایی انجام می‌شود که بر اساس الگوها و الگوریتم‌های متفاوت مشغول خزش در سایتها و بررسی محتوایشان هستند. در صورت هرگونه سرپیچی از قوانین گوگل مثلاً سئوی کلاه‌سیاه، همین ربات‌ها سایتتان را جریمه کرده و از نتایج حذف می‌کنند. در صورتی هم که محتوای مرتبط و باکیفیتی داشته باشید، از همین ربات‌ها رتبه بالا می‌گیرید. با این مقدمه حتماً متوجه شدید که منظور از خزش ربات‌های گوگل یا اصطلاحاً کرال کردن Crawl ربات‌های در سایت دقیقاً چیست.
مطلب پیشنهادی: گوگل سرچ کنسول چیست؟
کرال استت چه کاری برای سایت ما انجام می‌دهد؟
می‌دانید که مطالب منتشرشده بلافاصله ایندکس نمی‌شوند، مگر اینکه خودتان درخواست ایندکس فوری را بدهید. حالا در این میان شما برای اینکه مطمئن شوید ربات‌های گوگل روزانه چند صفحه از سایت و بلاگتان را بررسی یا اصطلاحاً کرال می‌کنند، به کرال استت Crawl stats نیاز دارید.
این سرویس در سرچ کنسول دقیقاً تعداد صفحاتی که روزانه توسط ربات‌ها بررسی شده را نشان می‌دهد تا بتوانید در تقویم محتوا، استراتژی سئو و اجرای هرگونه کمپین تبلیغاتی برنامه‌ریزی بهتری داشته باشید.
مطلب مرتبط: اتصال سایت به سرچ کنسول
چگونه از کرال استت سرچ کنسول استفاده کنم؟
اگر قرار است از کرال استت برای بررسی سایتتان استفاده کنید، یادتان باشد که ۵ مورد:
- هاست
- وضعیت HTTP
- هدف صفحات منتشرشده
- خزش صفحات بر اساس نوع ربات گوگل
- نوع فایل
را می‌توانید از طریق همین ابزار پیدا کنید که قرار است در ادامه توضیح دهیم؛ اما پیش از آن بیایید مطابق با آموزش تصویری زیر کرال استت در سرچ کنسول را یاد بگیرید.
اول وارد حساب کاربری‌تان در سرچ کنسول شده، یعنی نام کاربری و رمز را وارد کنید تا به صفحه زیر برسید.
روی گزینه تنظیمات Settings کلیک کرده و مطابق با تصویر Crawl stats انتخاب کنید تا بتوانید بررسی کاملی از وضعیت سایت داشته باشید. البته بررسی این قسمت به همان ۵ دسته‌ای که گفتیم، ارتباط دارد پس بیایید با جزئیات بیشتری صحبت کنیم.
کرال استت سایت بیانگر چه چیزهایی است؟
گفتیم که مورد اول در بررسی کرال استت سایت، هاست است. زمانی که سایتتان را راه‌اندازی کنید علاوه بر دامین اختصاصی باید از شرکت‌هایی مانند هاست ایران درخواست سرویس میزبانی یا همان هاست را هم بدهید. حالا در همین قسمت کرال استت می‌توانید وضعیت کرال کردن ربات‌های گوگل در تمام قسمت‌های سایت و بلاگتان را بررسی کنید.
بعد از هاست نوبت وضعیت HTTP است. با کرال استت می‌توانید بررسی کنید که کدام صفحات سایت یا اصطلاحاً کدام URL ها توسط ربات‌های گوگل خزش شده است. برای بررسی این قسمت در قسمت تنظیمات مطابق با تصویر زیر روی گزینه Crawl requests breakdown کلیک کنید و صفحات خزش شده را ببینید.
کرال استت خودش خزش ربات‌های گوگل در صفحات سایت را به دودسته تقسیم می‌کند. اولین هدف URL تمام صفحاتی است که با اهداف بازخوانی صفحات ایندکس شده، توسط ربات‌های گوگل بررسی شدند. دومین مورد کرال استت تمام صفحاتی است که با هدف دیسکاوری، یعنی برای اولین‌بار توسط ربات‌های گوگل خزش و کرال شدند.
در این قسمت ممکن است با عبارت Discovered but not indexed مواجه شوید. این عبارت که معنای آن کشف شده ولی ایندکس نشده است، نشان می‌دهد که ربات‌های گوگل یک صفحه را پیدا کردند؛ اما هنوز خزش را شروع نکردند. قاعدتاً خودتان هم می‌دانید که بعد از انتشار یک محتوا، مطالب بلافاصله کرال نشده و به کمی زمان نیاز دارد.
در این گونه موارد اگر عجله دارید تا یک مطلب فوراً ایندکس و کرال شود، می‌توانید به سرچ کنسول درخواست ایندکس داده یا در قسمت تنظیمات مطابق با تصویر زیر به قسمت Crawl Stats رفته و گزینه Crawl Requests: HTML را انتخاب کنید.
به این ترتیب متوجه خواهید شد که ربات‌های گوگل به‌صورت متوسط در طول روز چند صفحه از سایت و بلاگ شما را خزش و کرال می‌کنند.
کمک دیگر کرال استت برای نوع فایل است. به این ترتیب در این قسمت اگر سایتی دارید که با جاوا اسکریپت برنامه‌نویسی شده، در قسمت Crawl stats GSC متوجه خواهید شد که ربات‌های گوگل از چه فایل‌هایی استفاده کردند. برای سایت‌های گردشگری، آموزش آشپزی، آموزش زبان و موارد مشابه که محتواهایشان همراه با آپلود تصاویر است، این مورد به شما کمک می‌کند تا در سئوی تصاویر هم موفق عمل کرده و حتی از طریق عکس هم توجه کاربران را به سایتتان جلب کنید.
آخرین مورد نوع ربات‌های گوگل است. شما با استفاده از سرویس کرال استت متوجه خواهید شد که سایت شما توسط کدام الگوریتم‌ها، مثلاً الگوریتم مرغ مگس‌خوار یا پاندا، کرال شده است. در ضمن در همین قسمت می‌توانید مواردی مانند هرگونه خطا در DNS یا TimeOuts صفحات سایت را پیدا کنید.
مطلب پیشنهادی: آموزش رفع خطای Crawl Errors در گوگل سرچ کنسول
سوالات متداول کرال استتس در سرچ کنسول
- اگر صفحه‌ای بعد گذشت ماه‌ها از انتشار هنوز رتبه نگرفته باشد، کرال استت چه کمکی می‌کند؟
کرال استت کمک می‌کند تا متوجه شدید آیا این صفحات توسط ربات‌های گوگل بررسی شدند یا خیر، برای پیداکردن این موضوع در قسمت URL Inspection Tool رفته و URL صفحه موردنظرتان را وارد کرده و به مرحله بعدی بروید، در مرحله بعدی از مسیر Coverage > Crawl report صفحه را بررسی کرده و متوجه شوید که وضعیت کرال صفحه توسط ربات‌های گوگل در چه موقعیتی فرار دارد.
- بودجه crawl سایت چیست؟
هزینه یا بودجه کرال سایت در معنای حجم منابعی از گوگل است که صرف خزش و کرال صفحات وب‌سایت می‌شود.
- چگونه می‌توانیم هزینه کرال سایت را کاهش دهیم؟
در استراتژی محتوایتان اجازه کانیبالیزیشن نداده و هرگونه صفحات نامربوط را حذف کنید. همچنین با حذف صفحاتی که مشابه هم هستند، می‌توانید بودجه سایت را کاهش دهید.
مطلب مرتبط: نحوه ایجاد دسترسی سرچ کنسول
کلام آخر
در این مقاله راهنمای کامل استفاده از سرویس کرال استت در سرچ کنسول را آموزش دادیم. یادتان باشد که برای سئوی موفق سایت و قرارگرفتن در لیست نتایج برتر گوگل نیازمند استفاده از سرچ کنسول هستید. به این ترتیب می‌توانید صفحات موفق و ضعیف سایتتان را پیدا کرده و متوجه شوید که کاربران بر اساس کدام کلمات کلیدی، وارد سایتتان شدند. علاوه بر این برای بررسی عملکرد ربات‌های گوگل و درک بهتر نحوه خزش ربات‌ها در صفحات سایت بهتر است که حتماً از کرال استت در سرچ کنسول استفاده کنید.
