راهنمای مطالعه
شاید برای شما هم پیش آمده باشد که بعد از مدتی سخت کار کردن روی سایت، می‌بینید که نتوانسته‌اید رتبه‌های برتر موتورهای جستجو را نصیب خود کنید و محتواهایتان در تلاش‌اند حداقل در یکی از ۱۰ صفحه اول قرار بگیرند. اگر اطمینان دارید که سایتتان لیاقت گرفتن رتبه‌های بهتر را دارد، شاید مشکل از ایندکس شدن سایت موتورهای جستجو باشد.
ایندکس کردن یا خزش چیست؟ موتورهای جستجو از بات‌ها برای جمع‌آوری برخی پارامترهای خاص صفحات سایت‌ها استفاده می‌کنند. به فرآیند جمع‌آوری این داده‌ها خزش کردن گفته می‌شود. بر اساس این داده‌ها، موتورهای جستجو صفحات را در ایندکس جستجوی خود می‌گنجانند، که در نهایت کاربر بتواند این صفحه را پیدا کند. خرش کردن و ایندکس شدن یک سایت درواقع در دسترس بودن آن سایت برای بات‌های جستجو است. شما باید مطمئن باشید که بات‌های جستجو می‌توانند صفحات سایت را پیدا کنند، دسترسی‌های لازم را دارند و می‌توانند داده‌ها را بخوانند.
این مشکل را می‌توان در دو دسته‌بندی قرار دارد: دسته اول مشکلاتی که خود شما می‌توانید آن‌ها را حل کنید و دسته دوم هم مشکلاتی هستند که توسط خود شما قابل‌حل نیستند و برای حل آن‌ها باید یک توسعه‌دهنده یا مدیر سیستم را استخدام کنید.
مدیریت کردن کدهای صفحات و فایل‌های روت از جمله مشکلاتی هستند که خودتان می‌توانید حل آن‌ها را بر عهده بگیرید. همچنین باید یک دانش پایه از کدنویسی نیز داشته باشید تا بتوانید کارهایی مانند جایگزینی بخشی از یک کد و قرار دادن آن در محل مناسب را انجام دهید. اما کارهایی مانند مدیریت سرور یا مهارت‌های توسعه وب نیز وجود دارند که خود شما ممکن است در مورد آن‌ها اطلاعاتی نداشته باشید و برای انجامشان باید یک شخص متخصص را استخدام کنید.
مقاله مرتبط: خزنده موتور جستجو -کراولر- چیست؟ کرولر چگونه کار می‌کنند؟
گاهی اوقات ممکن است پیش بیاید که خزنده موتورهای جستجو توسط متا تگ‌ها و فایل robots.txt بلاک شده باشد. این نوع از مشکلات به‌سادگی و با بررسی کردن تگ‌های متا و فایل robots.txt قابل شناسایی هستند. تمام سایت یا صفحات خاصی به دلیل اینکه بات‌ها امکان ورود به آن‌ها را ندارند ممکن است توسط گوگل نادیده گرفته شوند.
اینکه یک موتور جستجو نتواند سایت شما را به‌خوبی پایش کردن ممکن است به یکی از دلایل زیر باشد:
۱-متا تگ‌های ROBOTS مانع از ایندکس شدن صفحات می‌شوند
اگر این کار را انجام دهید، بات موتور جستجو حتی به محتوای صفحه نگاه هم نمی‌کند و مستقیماً به صفحه بعدی می‌رود.
اگر کد صفحه حاوی چنین کدی بود، احتمالاً سایتتان با مشکل ممانعت تگ‌های متا ROBOTS از ایندکس شدن مواجه است:
<meta name="robots" content="noindex" />
۲- لینک‌های No follow
در مشکل لینک‌های No follow، بات موتور جستجو می‌تواند محتوای صفحه را ایندکس کند؛ اما اجازه‌ای برای دنبال کردن لینک‌ها ندارد. اساساً لینک‌های نوفالو بر دو نوع هستند:
نوع اول: برای کل صفحه. وجود کد زیر را در کد صفحه بررسی کنید. وجود این کد به این معنی است که خزنده نمی‌تواند هیچ لینکی را در صفحه دنبال کند.
<meta name="robots" content="nofollow">
نوع دوم: برای یک لینک. کد نوع دوم به این صورت است:
href="pagename.html" rel="nofollow"/>
۳- تلاش برای ایندکس نشدن صفحات از طریق robots.txt
وقتی یک خزنده به سایت وارد می‌شود، فایل robots.txt اولین فایلی است که به آن نگاه می‌کند. دردناک‌ترین کدی که می‌توانید در کد صفحه پیدا کنید شاید این باشد:
User-agent: * Disallow: /
وجود این کد به این معنی است که صفحات سایت اجازه ایندکس شدن را ندارند. این مشکل همچنین ممکن است برای صفحات یا بخش‌های خاصی رخ دهد. برای مثال:
User-agent: * Disallow: /products/
در چنین صورتی، تمامی صفحات موجود در ساب فولدر products ایندکس نمی‌شوند؛ بنابراین هیچ‌کدام از توضیحات محصولات شما در گوگل قابل مشاهده نخواهند بود.
مقاله مرتبط: آیا لازم است سایت خود را در گوگل ثبت کنیم؟
همچنین وجود لینک‌های شکسته می‌تواند یک تجربه بد کاربری را برای بازدیدکنندگان رقم بزند و البته تأثیری منفی روی خزنده‌ها نیز دارد. هر صفحه‌ای که بات جستجو ایندکس می‌کند یا در تلاش برای ایندکس کردن آن است، بخش از بودجه خزنده را مصرف می‌کند. با در نظر گرفتن این توضیح، اگر تعداد لینک‌های شکسته زیادی در سایتتان موجود باشد، خزنده تمام زمانش برای ایندکس کردن را هدر می‌دهد و نمی‌تواند به صفحات مرتبط و با کیفیت دسترسی پیدا کند.
در سرچ کنسول گوگل یا سرویس‌هایی مانند SEMrush می‌توانید لینک‌های شکسته سایت خود را شناسایی کنید.
۴- خطاهای URL
وجود خطا در URL سایت ممکن است به دلیل اشتباه در نوشتن رخ دهد. باید مطمئن شوید که تمام آدرس‌های سایت به‌درستی نوشته شده‌اند و کار می‌کنند.
۵- URLهای منقضی شده
اگر به‌تازگی تغییرات عمده‌ای در ساختار سایت و آدرس‌های آن ایجاد کرده‌اید، باید حواستان خیلی جمع باشد. مطمئن شوید که از هیچ‌کدام از صفحات سایت خود به آدرس‌های حذف‌شده یا تغییر یافته لینک نداده‌اید.
۶- منع دسترسی به صفحات
گاهی ممکن است برخی صفحات سایت فقط برای کاربران رجیستر شده قابل‌دسترسی باشد. زمانی می‌توانید وجود این مشکل را شناسایی کنید که مثلاً تعداد زیادی از صفحات سایتتان کد وضعیتی ۴۰۳ را نشان می‌دهند. این لینک‌ها را به‌صورت نوفالو در بیاورید تا بودجه خزنده‌های موتورهای جستجو را تلف نکنند.
۷- خطای سرور
بخش عمده‌ای از خطاهای ۵xx (برای مثال خطاهای ۵۰۲) می‌توانند نشانه‌ای از خطاهای سروری باشند. برای حل آن‌ها، فهرستی از این صفحات را به فرد مسئول توسعه و نگهداری سایت بدهید. این شخص حتماً می‌تواند باگ‌ها یا خطاهای پیکربندی سایت که از سرور ناشی می‌شوند را شناسایی و رفع کند.
۸- محدودیت ظرفیت سرور
اگر فضای اضافه‌ای برای سرور باقی نمانده باشد و تمام ظرفیت آن تکمیل شود، قطعاً به تمام درخواست‌های کاربران جدید و بات‌ها پاسخ منفی می‌دهد. اگر سایت با این مشکل مواجه شود، کاربران در هنگام ورود به سایت پیام Connection timed out را دریافت می‌کنند. یک متخصص حفظ و نگهداری سایت می‌تواند ظرفیت لازم برای سرور را پیش‌بینی کند.
۹- خطا در پیکربندی سرور
در صورت بروز چنین مشکلی، سایت به‌صورت کامل و بدون نقص برای کاربران در دسترس خواهد بود، اما برای بات جستجو پیام خطا صادر می‌کند و به این ترتیب تمام صفحات امکان ایندکس شدن را نخواهند داشت. این مشکل می‌تواند به دلیل خطا در پیکربندی سرور رخ بدهد. برخی اپلیکیشن‌های فایروال وب، گاهی به‌صورت پیش‌فرض بات‌های گوگل را بلاک می‌کنند. خطا در پیکربندی سرور مشکلی نیست که خودتان بتوانید از پس آن برآیید و باید یک متخصص را برای حل آن استخدام کنید.
فایل robots.txt و نقشه سایت اولین مواردی هستند که یک خزنده هنگام ورود به سایت با آن‌ها مواجه می‌شود. اگر نقشه سایت به‌خوبی طراحی شده باشد، خزنده‌ها از طریق آن می‌توانند به‌خوبی یک سایت و صفحات آن را ایندکس کنند.
۱۰- وجود خطا در فرمت‌ها
خطاهای فرمتی می‌توانند در چندین شکل ظاهر شوند. برای مثال، یک آدرس غیر معتبر یا تگ‌های حذف‌شده. در مراحل اولیه نیز ممکن است متوجه شوید که فایل robots.txt نقشه سایت را بلاک کرده است و به این ترتیب بات جستجو امکان دسترسی به محتوای نقشه سایت را ندارد.
۱۱- وجود صفحات اشتباه در سایت مپ
حالا نوبت به محتوا می‌رسد. حتی اگر اطلاعاتی در مورد برنامه‌نویسی وب نداشته باشید، می‌توانید میزان مرتبط بودن آدرس‌ها در یک نقشه سایت را مشخص کنید. آدرس‌های موجود در نقشه سایت را بررسی کنید و مطمئن شوید که همگی آن‌ها مرتبط، درست و آپدیت هستند. اگر بودجه خزنده محدود باشد و نتواند کل سایت را بازرسی کند، نقشه سایت به آن کمک می‌کند تا مهم‌ترین صفحات را ایندکس کند.
همچنین نباید با راهنمایی‌های اشتباه باعث گمراه شدن خزنده گوگل شوید. اطمینان حاصل کنید که تمام آدرس‌های موجود در نقشه سایت توسط دستورات متا یا robots.txt از ایندکس شدن منع نشده‌اند.
۱۲- لینک‌دهی داخلی اشتباه
سایتی که ساختار آن به‌درستی بهینه‌سازی شده است، صفحات آن مانند یک زنجیر به هم مرتبط و متصل هستند، بنابراین خزنده‌ها می‌توانند به‌راحتی صفحات مختلف را پیدا کنند. اما برخی از صفحات سایتی که ساختار مناسبی ندارد ممکن است توسط خزنده‌ها شناسایی نشوند. این مشکل می‌تواند به دلایل مختلفی رخ دهد. ابزارهایی مانند Site Audit از SEMrush وجود دارند که می‌توانند در تشخیص و حل این مشکل به شما کمک کنند.
مقاله مرتبط: چگونه همه صفحه‌های لینک نشده در وب‌سایت خود را شناسایی کنیم؟
– هیچ‌کدام از صفحات سایتتان به صفحه‌ای که قصد رتبه گرفتن برای آن را دارید لینک نداده‌اند. به این ترتیب، بات‌های جستجو نمی‌توانند این صفحه را پیدا و ایندکس کنند.
– وجود تراکنش‌های زیاد بین صفحه اصلی و صفحه‌ای که قصد رتبه گرفتن برای آن را دارید. حدود ۴ تراکنش یا کمتر می‌تواند کافی باشد، در غیر این صورت بات ممکن است نتواند به صفحه مورد نظر دسترسی پیدا کند.
– بیش از ۳۰۰۰ لینک فعال در یک صفحه. وجود این تعداد لینک کار خزنده را بیشتر می‌کند.
– مخفی بودن لینک‌ها در بخش‌های غیرقابل ایندکس سایت مانند فرم‌ها، فریم‌ها و پلاگین‌ها.
در برخی مواقع مشکل ساختار لینک‌های داخلی ممکن است به‌سرعت و به‌آسانی قابل‌حل نباشد. بنابراین باید با همراهی توسعه‌دهندگان حرفه‌ای یک بررسی عمیق از سایت خود داشته باشید.
۱۳- ریدایرکت‌های اشتباه
اگر می‌خواهید کاربران را به یک صفحه مرتبط‌تر هدایت کنید، استفاده از ریدایرکت ضروری است. موارد گفته شده در زیر از جمله مواردی هستند که برای کار با ریدایرکت‌ها باید مدنظر داشته باشید:
– ریدایرکت موقتی به‌جای دائمی: ریدایرکت‌های ۳۰۲ و ۳۰۷ این سیگنال به خزنده‌ها است که آن‌ها مجدداً می‌توانند بارها و بارها به صفحه باز گردند که این موجب صرف بودجه خزنده می‌شود. بنابراین اگر دیدید که صفحه اورجینال دیگر نیازی به ایندکس شدن ندارد، برای ریدایرکت کردن آن از ریدایرکت ۳۰۱ یا دائمی استفاده کنید.
مقاله مرتبط: تاثیر ریدایرکت یا هدایت سایت به دامنه اصلی
– حلقه ریدایرکت: حلقه ریدایرکت زمانی رخ می‌دهد که دو صفحه به هم ریدایرکت شوند. در چنین حالتی، بات در یک حلقه به دام می‌افتد و تمام بودجه‌اش را بیهوده مصرف می‌کند. یک بررسی از سایت خود داشته باشید و ریدایرکت‌های دوگانه و حلقه ریدایرکت را حذف کنید.
۱۴- سرعت کم در بارگذاری وب‌سایت
بالا بودن سرعت بارگذاری سایت ارتباط مستقیمی با سرعت ایندکس شدن آن توسط خزنده‌ها دارد. هر یک ثانیه در اینجا می‌تواند اهمیت داشته باشد. سرعت بارگذاری سایت یکی از فاکتورهای مؤثر در رتبه‌بندی نیز هست.
با ابزار Pagespeed Insights گوگل می‌توانید ببینید که آیا سایتتان به‌سرعت بارگذاری می‌شود یا خیر. پایین بودن سرعت لود سایت معمولاً به این دو علت رخ می‌دهد:
مشکلات سرور: گاهی کاهش سرعت بارگذاری سایت می‌تواند به این دلیل باشد که پهنای باند سرور دیگر کافی نیست و باید افزایش یابد. می‌توانید در توضیحات پلن قیمت‌گذاری هاستینگ خود وضعیت پهنای باند را بررسی کنید.
مشکلات Front-end: بهینه‌سازی نشدن کدها یکی از رایج‌ترین مشکلاتی است که ممکن است رخ بدهد. وجود اسکریپت‌ها و پلاگین‌ها متعدد می‌تواند سایت را در معرض خطر قرار دهد. همچنین باید به‌صورت منظم تصاویر، ویدئوها و محتواهای مشابه سایت خود را بررسی کنید تا مطمئن شوید که به‌خوبی بهینه‌سازی شده‌اند و موجب کاهش سرعت بارگذاری سایت نمی‌شوند.
۱۵- معماری نامناسب سایت که صفحات تکراری را ایجاد می‌کند
محتواهای تکراری یکی از رایج‌ترین مشکلاتی است که در سئو رخ می‌دهد و بر اساس تحقیقات SEMrush، این مشکل در حدود ۵۰ درصد سایت‌ها وجود دارد. وجود محتواها و صفحات تکراری می‌تواند یکی از دلایل عمده مصرف بودجه خزنده‌ها نیز باشد. هر وب‌سایت فقط زمان محدودی برای بررسی شدن از سوی گوگل دارد، بنابراین گوگل قطعاً نمی‌خواهد با ایندکس کردن محتواهای تکراری زمان خود را تلف کند.
مشکل دیگر این است که در صورت وجود دو نسخه از یک محتوا، خزنده‌ها نمی‌دانند که کدام یک نسخه اصلی است و باید به کدام اعتماد کنند. برای شفاف‌سازی این موضوع باید از canonicalsها استفاده کنید.
برای حل این مشکل باید در ابتدا صفحات تکراری را از طریق یکی از روش‌های گفته شده در ادامه شناسایی کرده و مانع از ایندکس شدن آن‌ها شوید:
صفحات تکراری را حذف کنید
پارامترهای مشخصی را در robots.txt تعیین کنید
پارامترهای مشخصی را در متا تگ‌ها تعیین کنید
از ریدایرکت ۳۰۱ استفاده کنید
از rel=canonical استفاده کنید
۱۶- جاوا اسکریپت و CSS
موتور جستجوی گوگل در سال ۲۰۱۵ رسماً اعلام کرد تا وقتی‌که سایت‌ها بات‌های ما را از خزش کردن جاوا اسکریپت و فایل‌های CSS بلاک نکنند، ما عموماً می‌توانیم مانند مرورگرهای مدرن صفحات وب شما را رندر کنیم و بفهمیم. این موضوع فقط مختص به گوگل است و سایر موتورهای جستجو را شامل نمی‌شود. همچنین گوگل با استفاده از واژه «عموماً» در اینجا اعلام می‌کند که در برخی مواقع ایندکس شدن صحیح تضمین‌شده نیست.
۱۷- محتواهای فلش
از آن‌جایی که برخی دستگاه‌های موبایل از محتواهای فلش پشتیبانی نمی‌کنند، استفاده از این نوع محتواها می‌تواند باعث اختلال در تجربه کاربری شود و روی سئو نیز تأثیری منفی می‌گذارد. یک محتوا یا لینک درون عناصر فلش بعید است که توسط خزنده‌ها ایندکس شوند. بنابراین پیشنهاد می‌کنیم که از محتواهای فلش در سایت خود استفاده نکنید.
۱۸- فریم‌های HTML
وجود فریم در یک سایت را می‌توان هم به فال نیک گرفت و هم با دید منفی به آن نگاه کنید. به فال نیک می‌گیریم به این دلیل که وجود فریم در سایت نشانه‌ای از این است که سایتتان به‌اندازه کافی بالغ شده است. اما دید منفی به این دلیل که فریم‌ها به‌شدت منقضی شده هستند، به‌ندرت ایندکس می‌شوند و باید به‌سرعت فریم‌ها را به راه‌حل‌های بروز‌تر جایگزین کنید.
منظم کار کنید و روی کار تمرکز داشته باشید
لزوماً استفاده از کلمات کلیدی اشتباه یا مشکلات مرتبط با محتوا نیست که می‌تواند شما را زیر رادارهای گوگل قرار دهد. اگر به خاطر مشکلات ایندکس شدن سایت نتوانید محتواهایتان را به موتورهای جستجو تحویل دهید؛ دیگر اهمیتی ندارد که صفحات سایتتان تا چه حد خوب بهینه‌سازی شده‌اند.
برای اینکه بفهمید چه چیزی مانع از بررسی سایت توسط خزنده‌های گوگل می‌شود باید دامین سایت خود را به‌صورت کامل بررسی کنید. انجام دادن این کار به‌صورت دستی می‌تواند سخت و طاقت‌فرسا باشد. به همین جهت است که باید کارهای روتین را به ابزارهای مناسب واگذار کنید. محبوب‌ترین ابزارهای بررسی سایت در این زمینه به شما کمک می‌کنند تا مشکلات را شناسایی، دسته‌بندی و اولویت‌بندی کنید و بنابراین می‌توانید بلافاصله پس از دریافت گزارش نسبت به حل آن‌ها اقدام کنید. همچنین برخی از ابزارها می‌توانند داده‌های قبلی را در خود ذخیره کنند و شما می‌توانید یک تصویر کلی از عملکرد فنی سایت در طول زمان به دست بیاورید.
