مجله خبری هاست ایران » طراحی و توسعه » چگونه همه صفحه‌های لینک نشده در وب‌سایت خود را شناسایی کنیم؟
  • mag-telegram.jpg
  • landing96-300-420.jpg
سئو و بهینه سازی سایت طراحی و توسعه

چگونه همه صفحه‌های لینک نشده در وب‌سایت خود را شناسایی کنیم؟

صفحه‌های Orphan یا صفحه‌های یتیم به صفحه‌هایی از وب‌سایت گفته می‌شود که لینک داخلی ندارند و درنتیجه موتورهای جستجو در آن‌ها نمی‌خزند و ایندکس نمی‌شوند؛ پس در صفحه نتایج جستجو هم ظاهر نمی‌شوند و این برای سئو مشکل بزرگی است!

در این مطلب قصد داریم به شما آموزش می‌دهیم که چگونه این صفحه‌های لینک نشده روی وب‌سایت خود را پیدا کنید.

برای اینکه گوگل و سایر موتورهای جستجو صفحه‌های شمارا ایندکس کنند، ابتدا باید بدانند که این صفحه‌ها وجود دارند و البته کجا هستند!

این آگاهی معمولاً از طریق یکی از دو راه زیر حاصل می‌شود:

  • خزنده یک لینک را از صفحه دیگری دنبال می‌کند.
  • خزنده آدرس URL صفحه را در نقشه XML سایت شما پیدا می‌کند.

از آنجا‌ که موتورهای جستجو نمی‌توانند صفحه‌های لینک نشده را از طریق لینک‌های دیگر پیدا کنند، این صفحه‌های لینک نشده معمولاً ایندکس نمی‌شوند و هرگز در نتایج جستجو به نمایش درنمی‌آیند.

حتی اگر صفحه‌های لینک نشده در نقشه XML سایت شما فهرست شده باشند، همچنان هم برای سئو یک مشکل جدی محسوب می‌شوند.


مقاله مرتبط: آموزش Google Analytics به زبان ساده


بدون لینک داخلی هیچ اعتباری به این صفحه‌های لینک نشده منتقل نمی‌شود و موتورهای جستجو هیچ مفهوم یا زمینه‌ای ندارند که بر اساس آن صفحه‌های لینک نشده را ارزیابی کنند.

برای موتورهای جستجو بسیار دشوار است بدون آگاهی از این موضوع که این صفحه‌ها چگونه در قالب کلی وب‌سایت شما قرارگرفته‌اند، تصمیم بگیرند که صفحه شما به کدام‌یک از جستجوها مرتبط است.

برای پیدا کردن صفحه‌های لینک نشده وب‌سایت خود اقدامات زیر را به ترتیب انجام دهید:

۱- صفحه‌های قابل خزیدن خود را شناسایی کنید

در ابتدا شما باید فهرست همه آدرس‌های URL‌ که در حال حاضر در دسترس هستند و خزندگان گوگل می‌توانند به آن‌ها وارد شوند، تهیه کنید. برای این کار به عنکبوت سئو احتیاج دارید و ما ScreamingFrog را به شما پیشنهاد می‌کنیم.

از هر خزنده‌ای که استفاده می‌کنید، باید مطمئن شوید طوری تنظیم‌شده باشند که تنها در صفحه‌هایی بخزند که توسط موتورهای جستجو قابل ایندکس هستند و درنتیجه نباید در صفحه‌های ایندکس نشده یا صفحه‌هایی که توسط فایل‌های robots.txt از موتورهای جستجو پنهان‌شده‌اند بخزند.

روند خزیدن را از صفحه خانه وب‌سایت خود شروع کنید و مطمئن شوید که آدرس URL استاندارد خود را که شامل http یا https است و از www استفاده می‌کند یا نمی‌کند به‌کارگیرید!

پس‌ازاینکه خزنده وارد وب‌سایت شما شد، فهرست آدرس‌های URL‌ را به یک صفحه گسترده در نرم‌افزار اکسل مانند عکس زیر صادر کنید:

خروجی گرفتن از URL های وب سایت

۲- دو دلیل متداول صفحه‌های لینک نشده را برطرف کنید

قبل از اینکه از هر ابزار یا منبعی استفاده کنید تا صفحه‌های لینک نشده را پیدا کنید، دو دلیل متداول برای ایجاد صفحه‌های لینک نشده وجود دارند که باید بلافاصله رفع شوند.

این دو دلیل یک نقطه مشترک دارند و هر دوی‌شان اساساً صفحه‌های تکراری هستند که باید به‌صورت خودکار و یکنواخت فقط به یک URL ارجاع داده شوند.

اگر ارجاع داده نشوند، به‌احتمال‌زیاد برخی نسخه‌های این صفحه‌ها لینک نمی‌شوند و درنتیجه لینک نشده باقی می‌مانند.

در این صورت، مشکل اصلی این نیست که این صفحه‌ها لینک نشده هستند؛ بلکه مشکل این است که این صفحه‌ها درواقع تکراری هستند!

همچنان هنگامی‌که در جستجوی صفحه‌های لینک نشده وب‌سایت خود هستید، این صفحه‌ها هم ظاهر خواهند شد؛ پس بهتر است که در ابتدای کار مشکل این صفحه‌های تکراری را حل کنید و آن‌ها را از سر راه بردارید.

صفحه‌های غیراستاندارد https/http یا www و غیر www

هر صفحه عمومی در وب‌سایت شما بهتر است که از http یا https (ترجیحاً https) و از www یا غیر www به‌صورت یکنواخت استفاده کند.

برای بررسی صحت این مسئله همه انواع آدرس‌های صفحه خانه وب‌سایت خود را در مرورگر تایپ کنید، برای مثال:

همه این ۴ نوع آدرس باید به‌صورت خودکار فقط به یک URL ارجاع داده شوند.

این مسئله را روی برخی از صفحه‌های دیگر وب‌سایت خود هم مورد آزمون قرار دهید و فایل .htaccess وب‌سایت را چک کنید تا مطمئن شوید که ارجاع این صفحه‌ها به‌صورت صحیح تنظیم‌شده‌ است.

اسلش‌ها

مورد دیگری که باید مراقب آن باشید، استفاده یکنواخت از اسلش‌ها است.

برای نمونه، دو URL زیر احتمالاً محتوای مشابه تولید می‌کنند؛ اما آدرس‌های URL‌ دقیقاً مانند هم نیستند:

  • https://example.com/page1/
  • https://example.com/page1

تعدادی از صفحه‌های وب‌سایت خود را با اسلش و بدون اسلش بررسی کنید و مطمئن شوید که آن‌ها به‌صورت خودکار و یکنواخت به یک URL ثابت ارجاع داده می‌شوند.

بررسی کنید که این تنظیمات در فایل .htaccess هم به‌صورت صحیح انجام‌شده باشد.

۳- فهرستی از آدرس‌های URL‌ خود از ابزار Google Analytics دریافت کنید

خزندگان صفحه‌های لینک نشده را به‌سختی پیدا خواهند کرد.

به همین خاطر استفاده از ابزارهای سئو برای پیدا کردن هرکدام از این صفحه‌های لینک نشده، قطعاً مشکل‌ساز خواهد بود. بهترین مکان برای جستجوی صفحه‌های لینک نشده، داده‌های Google Analytics وب‌سایت شماست ( یا هر برنامه تجزیه‌وتحلیل دیگری که استفاده می‌کنید).

تا زمانی که صفحه‌های موردبحث در Google Analytics ثبت‌شده باشند اگر آن صفحه حتی یک‌بار هم بازدید شده باشد، آمار آن جایی در این ابزار مفید موجود خواهد بود.

برای دریافت فهرست کاملی از آدرس‌های URL از ستون فرعی سمت چپ All Pages را در زیر Site Content از قسمت Behavior انتخاب کنید:

پیدا کردن صفحات یتیم وب سایت

ازآنجاکه صفحه‌های لینک نشده به‌سختی پیدا می‌شوند، تعداد بازدیدهای آن‌ها به‌احتمال‌زیاد خیلی کم خواهد بود.

روی Pageviews کلیک کنید تا فلش به سمت بالا باشد و فهرست آدرس‌های URL‌ به‌صورت صعودی از کمترین به بیشترین بازدید مرتب شوند.

به‌این‌ترتیب صفحه‌های لینک نشده به بالای فهرست منتقل خواهند شد:

مشاهده صفخات وب سایت

برای اطمینان از اینکه شما تا حد امکان کامل و جامع است، در قسمت بالا سمت راست صفحه به بخش تنظیم زمان گزارش بروید و تاریخ شروع گزارش را به تاریخی قبل از نصب Google Analytics تغییر دهید و سپس روی Apply button کلیک کنید.

دریافت اطلاعات

حالا باید فهرست آدرس‌های URL خود را تا حد ممکن گسترش دهید.

در بخش پائین سمت راست صفحه روی منوی باز شونده Show rows کلیک کنید و بیشترین تعداد سطور را برگزینید.

بزرگ‌ترین مشکل در این بخش، این است که Google Analytics فقط تا پنج هزار URL را یکجا نشان می‌دهد:

تعداد صفحات یتیم در گوگل آنالیتیکس

اگر تعداد آدرس‌های URL شما بیش از این باشد، باید هر ۵۰۰۰ صفحه را جداگانه صادر کنید تا همه داده‌های بازدیدکنندگان گوگل خود را دریافت کرده کنید!

البته اگر گزارش بازدیدها را به‌صورت صعودی مرتب کرده‌اید، پس فهرست شما احتمالاً URL همه صفحه‌های لینک نشده را که بازدید داشته‌اند، نشان می‌دهد.

احتمالاً زمان زیادی لازم است تا ابزار Google Analytics همه داده‌ها را جمع‌آوری کند. پس صبور باشید و سعی نکنید کار را سریعاً تمام کنید؛ چراکه احتمال دارد مرورگر شما کرش کند!

به‌محض اینکه فهرست آدرس‌های URL‌ آماده شد، به قسمت بالا سمت راست بروید و export را انتخاب کنید تا گزارش در قالب یک صفحه گسترده گوگل، فایل اکسل یا جدول CSV صادر شود و بتوانید به آدرس‌های URL‌ خود دسترسی پیدا کنید.

صفحه اکسپورت گرفتن از صفحات یتیم

حالا آدرس‌های URL‌ صادرشده از Google Analytics خود را در جدول صفحه‌های لینک نشده کپی کنید:

کپی url در گوگل آنالیتیکس

باید این داده‌ها را به قالب URL درآورید تا قابل‌استفاده باشند. برای این کار، یک ستون جدید ایجاد کنید و URL صفحه خانه خود را در آن کپی کنید؛ مانند:

صفحات orphan در گوگل آنالیتیکس

و از فرمول concat() استفاده کنید تا داده‌های کپی شده را به‌صورت یک URL در ستون بعدی باهم ترکیب کند:

مقایسه url های orphan در گوگل آنالیتیکس

سپس فرمول را در ادامه ستون بکشید تا فهرست کامل آدرس‌های URL‌ را به دست آورید:

مشاهده تمامی صفحات یتیم در گوگل آنالیتیکس

۴- آدرس‌های URL لینک نشده خود را شناسایی کنید

برای این کار باید فهرست آدرس‌های URL‌ قابل خزیدن را با فهرست آدرس‌های URL‌ درون داده‌های Google Analytics در جدول خود مقایسه کنید.

در مثال فرضی ما کاملاً واضح است که https://example.com/11 یک صفحه لینک نشده است؛ اما در واقعیت شما تقریباً همیشه آدرس‌های URL‌ بیشتری برای بررسی خواهید داشت. درنتیجه باید این روند شناسایی آدرس‌های URL‌ لینک نشده را خودکار کنید.

برای این کار، به فرمولی احتیاج دارید تا بررسی کند که آیا هر URL در فهرست Google Analytics در فهرست آدرس‌های URL‌ قابل خزیدن هم وجود دارد یا خیر؟

در پائین یک نمونه از فرمول‌هایی که می‌توانند این کار را انجام ‌دهند، مشاهده می‌کنید:

کرول کردن صفحات orphan در گوگل آنالیتیکس

فرمول match که در سلول E2 استفاده کرده‌ایم، به‌صورت زیر است:

=match(D2,$A$2:$A$11,0)

این فرمول بررسی می‌کند که آیا URL موجود در سلول D2 در بازه $A$2:$A$11 قرار دارد یا خیر. (اگر با جدول‌های صفحه‌های گسترده آشنایی چندانی ندارید، خوب است که بدانید که علامت $ به این دلیل در فرمول قرار دارد که مطمئن شوید وقتی فرمول را به پائین ستون کشیدید، بازه فرمول تغییر نمی‌کند).

ارزش عدد «۰» به جدول گسترده گوگل می‌گوید که ستون‌ها لزوماً مرتب‌نشده‌اند.

اگر یک مورد مشابه پیدا شود، فرمول موقعیت آن را در بازه نشان خواهد داد که در مثال ما، اولین موقعیت در بازه است.

اما چیزی که شما باید بیشتر به آن علاقه نشان دهید، این است که مورد مشابه وجود نداشته باشد.

همان‌طور که می‌بینید، در مثال ما خطای #N/A را برای https://example.com/11 نشان می‌دهد؛ زیرا این مورد در فهرست آدرس‌های URL‌ قابل خزیدن وجود ندارد و این یعنی URL متعلق به یک صفحه لینک نشده است!

برای به دست آوردن فهرست صفحه‌های لینک نشده تنها کاری که باید بکنید این است که ستون Match را مرتب کنید تا همه خطاهای #N/A را در یک مکان جمع‌آوری کند.

نتیجه جستجوی صفحات یتیم در گوگل آنالیتیکس

سپس می‌توانید فهرست آدرس‌های URL‌ لینک نشده را در یک جدول گسترده جدید کپی کرده و برای رفع مشکل آن‌ها اقدام کنید.

۵- سایر مکان‌هایی که می‌توانید آدرس‌های URL‌ لینک نشده را جستجو کنید

شما می‌توانید این روند را به کمک سایر منابع داده‌ها (هر منبعی به‌جز Google Analytics) هم تکرار کنید تا آدرس‌های URL‌ لینک نشده وب‌سایت خود را شناسایی کنید.

هر یک از ابزارهای زیر فهرستی از صفحه‌های خزیده شده از وب‌سایت شمارا ارائه خواهند داد:

  • SEMrush
  • Ahrefs
  • Moz Link Explorer
  • Raven Tools

ما به شما پیشنهاد نمی‌کنیم که در هرکدام از این ابزارها صرفاً برای شناسایی صفحه‌های لینک نشده خود ثبت‌نام کنید؛ چراکه همه آن‌ها باید در صفحه‌های شما بخزند تا بتوانند این صفحه‌های لینک نشده را پیدا کنند!

ممکن است که در برخی موارد این ابزارها صفحه‌هایی را پیدا کنند که مستقیماً قابل خزیدن نیستند، اما آن‌ها را از طرق دیگری مانند نسخه‌ای از صفحه‌ها که مربوط به زمانی هستند که قابل خزیدن بوده‌اند، پیداکرده باشند!

همچنین ایده خوبی است که با تیم توسعه‌دهندگان خود همکاری کنید تا اگر آن‌ها می‌توانند فهرست کاملی از آدرس‌های URL‌ قابل خزیدن وب‌سایت را مستقیماً از سرور دریافت کنند؛ چراکه این فهرست حتماً باید کامل‌ترین فهرست موجود باشد!

و در پایان شما می‌توانید فهرستی از آدرس‌های URL‌ را از گزارش تجزیه‌وتحلیل search console دریافت کنید.

این صفحه‌ها قطعاً ایندکس شده‌اند که در این گزارش‌ها دیده می‌شوند، اما هنوز هم ممکن است صفحه‌هایی از لینک‌های داخلی خود پیدا کنید که قابل خزیدن نیستند و باید مشکلشان حتماً رفع شود.

نتیجه‌گیری

اگر صفحه‌های لینک نشده در نقشه سایت شما ظاهر نمی‌شوند، موتورهای جستجو قادر نخواهند بود آن‌ها را ایندکس کنند. این صفحه‌ها حتی در صورت ایندکس شدن هم ممکن است مشکلاتی را برای سئو وب‌سایت شما به وجود بیاورند.

از روش‌های معرفی‌شده در این مطلب بهره بگیرید تا صفحه‌های لینک نشده خود را شناسایی کنید و بتوانید برای حل مشکلشان هر چه زودتر اقدامات لازم را به اجرا درآورید.

ابزار بهینه سازی وب هاست ایران

افزودن دیدگاه

کلیک برای ثبت دیدگاه