فایل Robots.txt چیست؟ تاثیر آن بر سئو

با یک آموزش دیگر از سری آموزش های سئو سایت در خدمت شما عزیزان هستم. در مقاله فایل Robots.txt  چیست و چه تاثیری بر سئو سایت دارد برای شما خواهیم گفت از:

1. فایل Robots.txt چیست؟
2. دلایل استفاده از فایل Robots.txt
3. فایل robots.txt را از کجا پیدا می کنید؟
4. چند نمونه از دستورات فایل Robots.txt
5. چگونه فایل robots.txt ایجاد کنیم؟
6. روش هایی که فایل robots.txt سئو را بهبود می بخشد.

1- فایل Robots.txt چیست؟

Robots.txt در واقع یک فایل است با پسوند TXT که به ربات ها و خرنده های موتورهای جستجو این را می گوید که در کدام صفحات یا بخش های یک سایت حق خزیدن ندارند.

همچنین در فرآیندهای خزیدن و نمایه‌سازی، دستورالعمل‌ها به عنوان دستوراتی عمل می‌کنند تا ربات‌های موتور جستجو ، مانند Googlebot، به صفحات مناسب هدایت شوند.

بسیاری از موتورهای جستجو به دستور العمل های این فایل توجه می کنند.

Robots.txt بیشتر شبیه به پیشنهادات است تا قوانین شکست ناپذیر برای ربات ها. صفحات شما همچنان می توانند به صورت فهرست شده در نتایج جستجو برای کلمات کلیدی انتخاب شده قرار گیرند.

2- دلایل استفاده از فایل robots.txt

بسیاری از وب سایت ها به فایل robots.txt احتیاج ندارند.

به این دلیل که گوگل خودش به راحتی می تواند کلیه صفحات مهم سایت را پیدا کرده بخزد و فهرست بندی نماید.

و صفحاتی را که تشخیص دهد که مهم نیستند، یا کپی از صفحات دیگر هستند را فهرست بندی نمی کند.

در اینجا برای شما عزیزان سه دلیل اصلی را که باید از این فایل استفاده کنید توضیح می دهیم:

1 – برای مسدود کردن صفحات غیر عمومی : برخی اوقات شما در وب سایت خود صفحاتی را دارید که نمی خواهید فهرست بندی شود.

مثلا یک صفحه در دست ساخت دارید و یا اینکه یک صفحه برای ورود به بخش مدیریت سایت دارید.

این صفحات برای وب سایت شما ضروری هستند ولی نمی خواهید در گوگل فهرست بندی شوند.

اینجا جایی است که شما با استفاده از فایل Robots.txt از خزیدن ربات های موتور های جستجو در این صفحات جلوگیری می کنید.

2 – به حداکثر رساندن بودجه خزش : اگر برای فهرست بندی تمام صفحات خود در گوگل به سختی تلاش می کنید و صفحات فهرست بندی نشده زیادی دارید ممکن است مشکل بودجه خزش داشته باشید.

با مسدود کردن صفحات غیر ضروری ربات های گوگل زمان لازم را برای خزش در صفحات مهم به دست می آورند و می توانند آنها را فهرست بندی کنند.

3 – جلوگیری از فهرست بندی منابع : استفاده کردن از دستورالعمل های متا می تواند به خوبی Robots.txt برای جلوگیری از فهرست بندی صفحات مفید باشد.

با اینحال باید این مطلب را بدانید که :

دستورالعمل های متا نمی تواند برای منابع چندرسانه ای مانند PDF ها و تصاویر به خوبی Robots.txt عمل نماید.

اینجا جایی است که فایل Robts.txt وارد بازی می شود.

این فایل به عنکبوت های خزنده گوگل و موتورهای جستجو می گوید که چه صفحاتی را خزش و فهرست بندی نکنند.

با استفاده از گوگل وبمستر یا همان کنسول جستجوی گوگل شما می توانید بررسی کنید که چه تعداد و چه صفحاتی از سایتتان فهرست بندی شده اند.

اگر تعداد صفحاتی که شما می خواهید با تعداد صفحات فهرست بندی شده برابر بودند.

دیگر نیازی نیست که زحمت استفاده از Robots.txt را متحمل شوید.

اما اگر تعداد صفحات فراتر از حد انتظار بود (به URL صفحاتی که فهرست بندی شده اند که شما نمی خواهید توجه نمایید) زمان آن است که از Robots.txt استفاده نمایید.

3- فایل robots.txt را از کجا پیدا می کنید؟

اکنون که اصول robots.txt و نحوه استفاده از آن در سئو را می دانید، مهم است که بدانید چگونه یک فایل robots.txt را پیدا کنید. یک روش مشاهده ساده که برای هر سایتی کار می کند این است که URL دامنه را در نوار جستجوی مرورگر خود تایپ کنید و /robots.txt را در پایان اضافه کنید.

این کار به این دلیل کار می کند که فایل robots.txt همیشه باید در فهرست اصلی وب سایت قرار گیرد.
اگر فایل robots.txt را نمی بینید چه می شود؟

اگر فایل robots.txt یک وب سایت ظاهر نشود، ممکن است خالی یا از دایرکتوری ریشه خالی باشد (که در عوض یک خطای 404 را برمی گرداند). گهگاه بررسی کنید تا مطمئن شوید که robots.txt در وب سایت شما یافت می شود.

با برخی از خدمات میزبانی وب سایت مانند وردپرس یا Wix، تنظیمات خزنده اغلب برای شما انجام می شود. شما باید مشخص کنید که آیا می خواهید صفحه ای از موتورهای جستجو پنهان شود یا خیر.

4- چند نمونه از دستورات فایل Robots.txt

Disallow : از این دستور برای اینکه دسترسی به یک پوشه خاص یا url  محدود شود، استفاده می گردد.

Crawl-delay : دستوری برای ایجاد کردن تاخیر در زمان بررسی محتوا توسط ربات ها می باشد.

Sitemap : تعیین موقعیت نقشه سایت.

User-agent : از این دستور به دو شکل می توان استفاده کرد.

اگر می خواهید به همه ی ربات ها یک دستور بدهید تنها بعد از عبارت User-agent از علامت “*” استفاده کنید.

اگر می خواهید به یک ربات خاص دستور خاصی را بدهید برای مثال ربات GoogleBot. دستور شما به این صورت نوشته می شود: GoogleBot : User-agent

5- چگونه فایل Robots.txt را ایجاد کنید

اولین مرحله ایجاد این فایل است.

برای ایجاد یک فایل TXT می توانید از ویرایشگر notepad ویندوز خود استفاده کنید.

و مهم نیست که در نهایت فایل robots.txt را چگونه و با چه روشی می سازید.

زیرا قالب همیشه یکسان است:

User-agent: X
Disallow: Y
در قسمت بالا منظور از User-agent نوع رباتی است که شما آن را فرا می خوانید.

و همینطور هر چیزی که بعد از “Disallow” شما آن را برای خزیدن ربات ها مسدود می کنید.

در اینجا برای شما یک مثال آورده ام :

User-agent: googlebot
Disallow: /images

در اینجا ما به ربات های گوگل می گوییم که در وب سایت ما در تمام فولدرهای مربوط به تصاویر خزش نکنند.

اگر در قسمت User-agent از کاراکتر * استفاده کنید به چه معناست؟

این به این معناست که شما تمام ربات ها را از تمام موتورهای جستجو فراخوانی کرده اید.

به مثال زیر توجه کنید :

User-agent: *

Disallow: /images

این نوشته به تمام ربات ها می گوید که در فولدر مربوط به تصاویر وب سایت خزش نکنند.

این تنها یکی از چندین روش های مورد استفاده از فایل robots.txt است.

این راهنمای مفید از Google اطلاعات بیشتری در مورد قوانینی که می توانید برای مسدود کردن یا اجازه ربات ها به خزیدن صفحات مختلف سایت شما استفاده کنید.

2 – کاری کنید که فایل Robots.txt آسانتر پیدا شود

هنگامی که فایل robots.txt خود را در اختیار دارید، زمان فعال سازی آن فرا رسیده است.

از نظر فنی می توانید فایل robots.txt را در هر فهرست اصلی (Directory) سایت خود قرار دهید.

اما برای افزایش شانس پیدا کردن فایل robots.txt، توصیه من این است که آن را در آدرس زیر قرار دهید :

https://example.com/robots.txt

(توجه داشته باشید که فایل robots.txt شما به حروف بزرگ حساس است. بنابراین مطمئن شوید که از “r” کوچک در نام فایل استفاده کنید)

 2 – خطاها و اشتباهات را بررسی کنید

این بسیار مهم است که فایل robots.txt شما به درستی تنظیم شده باشد. یک اشتباه می تواند کل سایت شما را حذف نماید.

خوشبختانه، نیازی نیست امیدوار باشید که کد شما به درستی تنظیم شده باشد.

گوگل دارای یک ابزار آزمایش ربات بسیار جذاب است که می توانید از آن استفاده کنید:

این ابزار به شما نشان می دهد خطاها و هشدارهایی که از robots.txt پیدا می کند:

همانطور که می بینید، ما عنکبوت ها را از خزیدن صفحه مدیریت WP منع می کنیم.

ما همچنین از robots.txt برای جلوگیری از خزیدن صفحات برچسب ایجاد شده توسط وردپرس (برای محدود کردن محتوای تکراری) استفاده می کنیم.

3 – Robots.txt در مقابل دستورالعمل های متا

چرا از robots.txt استفاده می کنید وقتی می توانید صفحات را در همان برگه مربوطه با متا تگ ” noindex ” مسدود کنید؟

همانطور که قبلاً اشاره کردم، پیاده سازی noindex روی منابع چند رسانه ای، مانند فیلم ها و PDF ها دشوار است.

همچنین، اگر هزاران صفحه دارید که می خواهید آنها را مسدود کنید، گاهی اوقات راحت تر می توانید کل قسمت آن سایت را با robots.txt مسدود کنید، به جای اینکه به طور جداگانه یک تگ noindex به هر صفحه اضافه کنید.

مواردی نیز وجود دارد که در آن شما نمی خواهید هیچ گونه بودجه ای را برای ورود به صفحه Google با برچسب noindex هدر دهید.

خارج از این سه مورد حاشیه ای، توصیه می کنم از دستورالعمل های متا به جای robots.txt استفاده کنید.

پیاده سازی آنها راحت تر است و احتمال وقوع فاجعه کمتر است (مانند مسدود شدن کل سایت شما).

6- روش هایی که فایل robots.txt سئو را بهبود می بخشد.

درست است که فایل robots.txt رتبه برتر را تضمین نمی کندف اما برای بهبود سئو مهم است. این فایل ها جزئی از سئو فنی محسوب می شوند که در نتیجه باعث رضایت بازدیدکنندگان شما می شود.

در این بخش چهار راه برای بهبود سئو با فایل های  robots.txt آورده ایم:

1 – حفظ کردن بودجه خزیدن

«بودجه خزیدن» تعداد صفحاتی است که Googlebot در مدت زمان معینی در یک سایت می خزد و فهرست می کند.

خزیدن ربات در موتورهای جستجو ارزشمند است، اما خزیدن می‌تواند سایت‌هایی را که قدرت رسیدگی به بازدید ربات‌ها و کاربران را ندارند، تحت تأثیر قرار دهد. ربات گوگل برای هر سایت یک بخش بودجه ای را که متناسب با مطلوبیت و ماهیت آنها باشد، کنار می گذارد. برخی از سایت‌ها بزرگ‌تر هستند، برخی دیگر از اختیارات زیادی برخوردارند، بنابراین از Googlebot کمک هزینه بیشتری دریافت می‌کنند.

گوگل بودجه خزیدن را به وضوح تعریف نمی کند، اما آنها می گویند هدف این است که اولویت بندی شود که چه چیزی باید خزیده شود، چه زمانی باید خزیده شود و چقدر دقیق خزیده شود.

از آنجایی که منبع محدودی از خزیدن دارید، می‌توانید robots.txt را نصب کنید تا از صفحات اضافی  از طریق Googlebot  جلوگیری کرده و آنها را به موارد مهم معرفی کنید. این کار باعث حذف ضایعات بودجه خزیدن شما می شود و هم شما و هم گوگل را از نگرانی در مورد صفحات نامربوط نجات می دهد.

2. از ردپای محتوای تکراری جلوگیری کنید

موتورهای جستجو در مورد محتوای تکراری حساس هستند ، با این حال، برای خزیدن صفحات محتوای تکراری و نمایش آنها در SERP ها، نیازی به ربات ندارید.

Robots.txt یک گزینه برای به حداقل رساندن محتوای تکراری موجود برای خزیدن است. روش‌های دیگری برای اطلاع‌رسانی به Google در مورد محتوای تکراری است اما می‌توانید با استفاده از فایل‌های robots.txt محتوای تکراری را حذف کنید تا بودجه خزیدن خود را نیز حفظ کنید.

بیشتر بخوانید »» چگون محتوا با کیفیت تولید کنیم

3.  ارزش لینک را به صفحات مناسب منتقل کنید

لینک های داخلی یکی از راههای بهبود سئو است. صفحات با بهترین عملکرد شما می توانند اعتبار صفحات ضعیف و متوسط ​​شما را در چشم گوگل افزایش دهند. فایل‌های robots.txt به ربات‌ها می‌گوید که پس از رسیدن به صفحه‌ای با دستورالعمل که تعریف شده، به آن توجه کند.

این بدان معناست که اگر از دستور شما پیروی کنند، برخی یا کل صفحات را بررسی نمی کنند. ارزش لینک سازی شما زیاد است و زمانی که از robots.txt به درستی استفاده می کنید، ارزش پیوند به صفحاتی که واقعاً می خواهید ارتقا دهید منتقل می شود. فقط از فایل‌های robots.txt برای صفحاتی استفاده کنید که نیازی ندارید در آن صفحه لینک سازی به دیگر صفحات داشته باشید.

4. دستورالعمل های خزیدن را برای ربات های انتخابی تعیین کنید

حتی در همان موتور جستجو، ربات های مختلفی وجود دارد. Google دارای خزنده‌هایی جدا از «Googlebot» اصلی است، از جمله Googlebot Images، Googlebot Videos، AdsBot و موارد دیگر. با robots.txt می‌توانید خزنده‌ها را از فایل‌هایی که نمی‌خواهید در جستجوها ظاهر شوند، دور کنید. به عنوان مثال، اگر می‌خواهید فایل‌ها را از نمایش در جستجوهای Google Images مسدود کنید، می‌توانید دستورالعمل‌های غیر مجاز را روی فایل‌های تصویری خود قرار دهید.

در فهرست‌های شخصی، robots.txt می‌تواند از ربات‌های موتور جستجو جلوگیری کند، اما به یاد داشته باشید که این کار از اطلاعات حساس و خصوصی محافظت نمی‌کند.

پرسش و پاسخ متداول