چگونه نقشه سایت را به فایل Robots.txt اضافه کنیم؟

نقشه سایت درواقع لیست تمام صفحات سایت شمارا شامل می‌شود و گنجاندن آن در robots.txt می‌تواند باعث شود که سایت شما خیلی سریع‌تر و راحت‌تر توسط موتورهای جستجو پیدا شود. انجام این کار بسیار ساده اما ملزم رعایت نکاتی است که می‌خواهیم در چند مرحله ساده آن‌ها را با شما در میان بگذاریم.

اگر یک وبمستر یا یک توسعه‌گر وب‌سایت هستید، قطعاً می‌خواهید که سایتتان در میان نتایج جستجو دیده شود. برای اینکه در میان نتایج موتورهای جستجو نشان داده شوید باید بات‌های موتور جستجو در وب‌سایت شما و صفحات مختلف آن بخزند و آن‌ها را فهرست کنند.

در حوزه فنی وب‌سایت، دو فایل مختلف وجود دارد که به بات‌ها در یافتن آنچه لازم دارند کمک می‌کنند:

1. Robots.txt
2. نقشه سایت

Robots.txt و نقشه سایت

Robots.txt یک فایل متنی ساده است که در دایرکتوری اصلی سایت شما قرار دارد. این همان فایل وب‌سایت شماست که به ربات‌های موتور جستجو می‌گوید در چه قسمت‌هایی از سایت شما بخزند و در کدام‌یک جستجو نکنند. همچنین شامل دستورهایی است که مشخص می‌کند کدام ربات‌های موتور جستجو اجازه این دسترسی و جستجو را دارند و کدام‌یک ندارند.

بات‌های جستجو معمولاً به‌محض ورود به یک سایت، به دنبال فایل robots.txt می‌گردند. به همین دلیل است که داشتن یک فایل robots.txt بسیار مهم است. حتی اگر هم بخواهید که تمام ربات‌های جستجو در تمام صفحات سایتی که دارید بخزند، داشتن یک فایل پیش‌فرض robots.txt که این امکان را بدهد ضروری است.

همچنین یک فایل robots.txt اطلاعات مهمی درباره نقشه سایت را شامل می‌شود. در اینجا قصد داریم به‌تفصیل به این ویژگی robots.txt بپردازیم. اما قبل از آن اجازه دهید ببینیم یک نقشه سایت چیست و چرا اهمیت دارد.

نقشه سایت، یک فایل XML است که شامل لیستی از تمام صفحات موجود در سایت شماست. همچنین می‌تواند شامل اطلاعات بیشتری درباره هر URL در قالب یک Meta data باشد. و همچون robots.txt، داشتن نقشه سایت هم امری ضروری است. این فایل به بات‌های موتور جستجو در جستجو، خزیدن و فهرست کردن تمام صفحات یک سایت از طریق نقشه سایت کمک می‌کند.

Robots.txt و نقشه سایت چه ارتباطی باهم دارند؟

در سال ۲۰۰۶ بود که یاهو، مایکروسافت و گوگل دست در دست هم گذاشتند تا از پروتکل استاندارد شده‌ای برای ثبت صفحات در یک سایت به‌وسیله نقشه سایت پشتیبانی کنند. برای این کار می‌بایست نقشه سایت خود را از طریق Google webmaster tools، Bing webmaster tools و yahoo ثبت می‌کردید، درحالی‌که برخی موتورهای جستجوی دیگر مانند DuckDuckGoGo نیز از نتایج به‌دست‌آمده از Bing و Yahoo استفاده می‌کنند.

حدود ۶ ماه بعد، یعنی در ماه آوریل ۲۰۰۷، آن‌ها در پشتیبانی از سیستمی برای یافتن نقشه سایت از طریق robots.txt به هم ملحق شدند که شناسایی خودکار نقشه‌های سایت نام داشت. این موضوع یعنی حتی اگر نقشه سایت خود را در موتورهای جستجوی فردی ثبت می‌کردید مشکلی وجود نداشت. آن‌ها می‌توانستند ابتدای کار، محل نقشه سایت را از فایل robots.txt سایت شما به دست آورند.

(تذکر: این درحالی‌که است که هنوز هم ثبت نقشه سایت روی اکثر موتورهای جستجو که امکان ثبت URL را دارند انجام می‌شود).

و به همین دلیل بود که اهمیت فایل robots.txt برای وبمسترها بیشتر هم شد چون به‌راحتی می‌توانستند راه را برای بات‌های جستجو باز کنند تا تمام صفحات وب‌سایتشان را بررسی کنند.

چطور یک فایل Robots.txt حاوی موقعیت نقشه سایت بسازیم؟

در اینجا سه مرحله آسان برای ساخت یک فایل robots.txt حاوی موقعیت نقشه سایت را برایتان شرح می‌دهیم:

گام اول: تعیین URL نقشه سایت

اگر وب‌سایت شما توسط یک توسعه گر ساخته‌شده است، بهتر است اول از آن‌ها بپرسید که آیا نقشه سایت برای وب‌سایتتان فراهم کرده‌اند یا خیر. URL مربوط به نقشه سایت معمولاً چنین شکلی دارد: http://www.example.com/sitemap.xml

پس کافی است این URL را در نوار آدرس مرورگر خود بنویسید و بجای عبارت example، دامین سایت را وارد کنید.

مقاله مرتبط: چگونه نقشه وب سایت بسازیم؟

همچنین می‌توانید محل نقشه سایت خود را به کمک جستجوی گوگل و استفاده از موتورهای جستجو همانند اشکال زیر تعیین کنید:

site:example.com filetype:xml

و یا

filetype:xml site:example.com inurl:sitemap

اما این روش تنها در صورتی جواب می‌دهد که سایتتان قبلاً توسط گوگل بررسی و فهرست شده باشد.

اگر هیچ نقشه سایتی در سایت خود پیدا نکردید، می‌توانید خودتان با استفاده از ابزار ساخت نقشه سایت، یا دنبال کردن روش توضیح داده‌شده در Sitemaps.org یک نقشه سایت بسازید.

گام دوم: فایل Robots.txt خود را پیدا کنید

برای تشخیص اینکه آیا سایتتان فایل robots.txt دارد یا خیر، می‌توانید عبارت example.com/robots.txt را تایپ کنید.

اگر فایل robots.txt نداشته باشید، مجبور خواهید شد که آن را بسازید و در بالاترین دایرکتوری سرور وب خود (دایرکتوری اصلی) اضافه کنید. برای اینکار به دسترسی وب سرور خود نیز احتیاج خواهید داشت. این فایل معمولاً در همان محلی که “index.html” اصلی سایتتان است، قرار دارد. محل این فایل‌ها به نوع نرم‌افزار وب سروری که دارید بستگی دارد. اگر با این فایل‌ها آشنا نیستید حتماً از یک توسعه گر وب کمک بگیرید.

فقط به یاد داشته باشید که برای اسم فایلی که محتوای robots.txt شمارا شامل می‌شود از حروف کوچک استفاده کنید. اسم فایل را مانند Robots.TXT یا Robots.Txt انتخاب نکنید.

گام سوم: اضافه کردن موقعیت نقشه سایت به فایل robots.txt

اکنون فایل robots.txt را در دایرکتوری اصلی سایت بازکنید. اینجا هم دوباره به دسترسی به سرور وب خود احتیاج دارید. پس اگر نمی‌دانید فایل robots.txt سایت خود را چطور پیدا و بازکنید، بهتر از یک توسعه گر وب بخواهید این کار را برایتان انجام دهد.

برای تسهیل پیدا کردن خودکار نقشه سایت شما از طریق robots.txt، تمام‌کاری که لازم است انجام دهید این است که همانند شکل زیر یک دستور را همراه با URL موردنظر در robots.txt قرار دهید:

Sitemap: http://www.example.com/sitemap.xml

درنتیجه فایل robots.txt به این شکل خواهد بود:

Sitemap: http://www.example.com/sitemap.xml
User-agent:*
Disallow:

تذکر: دستوری که حاوی موقعیت نقشه سایت است را می‌توانید در هر جای فایل robots.txt قرار دهید. این دستور از خط دستور user-agent  مستقل است، درنتیجه فرقی نمی‌کند کجا قرار بگیرد.

اگر چند نقشه سایت داشتید چطور؟

هر نقشه سایت نمی‌تواند بیش از ۵۰۰۰ URL داشته باشد. پس در مورد سایت‌های بزرگ‌تر که URL های فراوانی دارد، می‌توانید چند فایل نقشه سایت بسازید. باید موقعیت این چند فایل نقشه سایت را در یک فایل فهرست نقشه سایت بگذارید. فرمت XML فایل sitemap index مشابه فایل نقشه سایت است، یعنی درواقع یک نقشه سایت مربوط به نقشه‌های سایت است.

وقتی چند نقشه سایت دارید، می‌توانید URL مربوط به فایل فهرست نقشه‌های سایت را همانند مثال زیر در فایل robots.txt قرار دهید:

Sitemap: http://www.example.com/sitemap_index.xml
User-agent:*
Disallow

و یا می‌توانید تک‌تک URL های چند فایل نقشه سایتی که دارید را مشخص کنید، همانند شکل زیر:

Sitemap: http://www.example.com/sitemap\_host1.xml
Sitemap: http://www.example.com/sitemap_host2.xml
User-agent:*
Disallow

در انتها باید در هنگام اضافه کردن دستور نقشه سایت به فایل robots.txt به یک موضوع توجه کنید.

به‌طورکلی توصیه می‌شود که همیشه دستور فرعی ‘Sitemap’ را در کنار URL نقشه سایت در فایل robots.txt قرار دهید. اما در برخی موارد مشاهده‌شده است که این کار باعث بروز خطاهایی می‌شود. می‌توانید حدود یک هفته بعدازاینکه فایل robots.txt را به‌روزرسانی کردید و موقعیت نقشه سایت را در آن قرار دادید، برای بررسی وجود چنین خطاهایی از ابزار Google Webmaster tools استفاده کنید.

برای جلوگیری از بروز این خطا، توصیه می‌شود که بعد از URL نقشه سایت یک خط را خالی بگذارید.

امیدواریم توانسته باشیم شمارا در ساخت یک فایل robots.txt حاوی موقعیت نقشه سایت راهنمایی کرده باشیم. با انجام این کار کمک بزرگی در حق سایت خودکرده‌اید!