ثبت‌نام ورود

فایل robots.txt چیست؟ بهینه سازی فایل ربات در وردپرس

فایل robots.txt چیست؟ بهینه سازی فایل ربات در وردپرس

در این مقاله به اهمیت فایل robots.txt در سایت و سئو سایت شما می‌پردازیم. با این کار می‌توانید سئو سایت خود را بالابرده و در ضمن روی رتبه الکسا سایت شما نیز تأثیر زیادی دارد. شما می‌توانید توسط این فایل آمار ترافیک سایت خود را بهبود دهید؛ و فروش محصولات خود را بالا برده و فروش خود را گسترش دهید.

شما با استفاده از بهینه‌سازی سایتتان می‌توانید سبب پیشرفت و بهبود عملکرد آن شوید. همچنین شما می‌توانید زیر نظر خودتان دسترسی‌های متفاوتی را به این ربات‌ها بدهید. توجه داشته باشید عدم توجه به آن می‌تواند پیامدهای غیرقابل جبرانی برای سایت شما داشته باشد و رتبه سایت شما را پایین‌تر آورد.

فایل robots.txt چیست؟

توسط این فایل شما می‌توانید مشخص کنید که گوگل چه قسمت‌هایی از سایت شما را ایندکس کند و درواقع می‌توانید گوگل را کنترل کنید. توسط این فایل قسمت‌های محدود و مشخص از سایت شما توسط موتورهای جستجو ایندکس می‌شود. درواقع توسط این قسمت مشخص می‌شود که گوگل به چه قسمت‌هایی دسترسی داشته باشد و سراغ محتوای غیر مرتبط نرود.

این فایل به‌صورت اتوماتیک بر عملکرد سایت شما تأثیر می‌گذارد. و به‌وسیله آن می‌توان صفحاتی که محتوای آن‌ها از اهمیت چندانی برخوردار نیست ایندکس نشوند. درواقع موتورهای جستجو توسط این ربات متوجه می‌شوند که به چه بخش‌هایی اجازه دسترسی دارند.

چرا فایل robots.txt برای سئو مهم است؟

به دلیل این‌که برای ربات‌های گوگل و بینگ robots.txt مهم است. این فایل به دلیل این‌که اجازه می‌دهد موتورهای جستجو مانند: گوگل و یاهو و یا بینگ محتویات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می‌باشد.

بنابراین این ربات در بالا رفتن سئو سایت اهمیت فراوانی دارد که نمی‌توان آن را نادیده گرفت. در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه می‌شود و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند. شما توسط این فایل به‌عنوان یک وب‌مستر حرفه‌ای عمل کرده؛ اهمیت فایل تاحدی است که حتی خود گوگل هم دارای این فایل است! پس ساخت آن را حتماً جدی بگیرید.

پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب‌مستر حرفه‌ای آن را کنترل کنید.

آیا واقعا به فایل robots.txt نیاز داریم؟

آیا ما به فایل روبات نیاز مندیم ؟

بله برای اینکه صفحه سایت شما بتواند توسط گوگل، بینگ و… ایندکس شود شما به فایل Robots.txt نیاز دارید. تا زمانی که فایل ربات نباشد گوگل و سایر موتورهای جستجو نمی‌توانند به صفحه اصلی یا ایندکس سایت شما دسترسی داشته باشند؛ معمولاً اگر شما درهاست خود فایل Robots.txt نداشته باشید باید یک فایل جدید بسازید و نام آن را ربات بگذارید.

بهترین راه برای بالا بردن بازدید سایت شما بالا بردن رتبه سایتتان در موتورهای جستجو است. زمانی که رتبه سایت شما در این موتورها بالا رود شما بازدید بیشتری داشته و درنتیجه می‌توانید درآمد بیشتری نیز داشته باشید. به‌واسطه‌ی ربات‌های موتورهای جستجوگر شما می‌توانید سایتتان را به این موتورها به‌راحتی معرفی کنید و میزان بازدید کاربران از سایتتان را افزایش دهید.

آموزش ساخت فایل Robots.txt

کد و یا فرمت‌های این پرونده خیلی ساده است. در سطر اول user agent را داریم که برای شما می‌گوید که از کدام سایت جستجوگر می‌خواهید استفاده کنید. اگر از گوگل می‌خواهید استفاده کنید باید جلوی آن Googlebot و یا اگر که می‌خواهید از بینگ Bingbot استفاده می‌کنید و جلوی آن قرار می‌دهید تا بتواند از گوگل یا بینگ کمک بگیرد. درصورتی‌که می‌خواهید تمامی ربات‌ها به سایت شما دسترسی داشته باشند علامت * را قرار دهید. در مرحله بعد شما باید کدهای Allow و Disallow را در فایل قرار دهید مانند مثال زیر:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

البته شما به‌عنوان مدیر سایت می‌توانید از افزونه WordPress SEO by Yoast جهت عدم نمایش دسته‌بندی سایت در ایندکس شدن صفحه‌نمایش صفحه‌هایی که ساخته‌شده‌اند استفاده کنید.

هدف از این آموزش این است که اگر مدیران سایت دوست نداشته باشند گوگل به تمام قسمت‌های سایتشان نفوذ کند می‌توانند از این فایل استفاده کرده و یک نوع حریم برای سایتشان ایجاد کنند. شما می‌توانید با استفاده از افزونه‌ای که در بالا ذکر شد کاری کنید که قسمتی از فایل‌ها مانند readme.html در گوگل ایندکس نشود و یا غیرازاین می‌توانید هر فایل دلخواه دیگری را مشخص کنید تا نمایش داده نشود.

در نظر داشته باشید برای نمایش دادن کامل سایت در گوگل شما باید نقشه سایت خود را در robots.txt قرار دهید. البته توسط افزونه WordPress Seo By نقشه سایت شما به‌طور اتوماتیک در فایل قرار می‌گیرد. و دیگر نیازی به قرار دادن توسط شما نیست. البته اگر باز دیدید که در کدهای robots.txt وجود ندارد باید آن را مانند کد زیر در فایل قرار دهید تا گوگل بتواند به نقشه سایت شما دسترسی داشته باشد و محتویات را برای مراجعه‌کنندگان نمایش دهد:

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

کد بالا به تمامی ربات‌ها اجازه می دهد که بتوانند به نقشه سایت شما دسترسی کامل پیدا کنند

امیدوارم که از این مطلب ما هم راضی باشید. یا حق 🙂

نظر شما در این‌باره چیست؟

  1. U5807 ۰۶ تیر ۱۳۹۹

    با سلام و عرض ادب
    چگونه می توانیم noindex tag را در صفحات آرشیو دسته بندی و برچسب های سایتم غیر از صفحه‌ی اول قرار دهم؟ قبلا این امکان در یواست سئو بود ولی چند سالی است که حذف شده است؟
    ممنون می شوم راهنمایی کامل بفرمایید.

    • تیم پشتیبانی تیم پشتیبانی ۰۸ تیر ۱۳۹۹

      سلام
      توی نسخه جدید یواست این مورد به صورت خودکار اتفاق میفته

      • U5807 ۰۸ تیر ۱۳۹۹

        من این افزونه را سایت شما تهیه کردم ولی چنین اتفاقی نمی افته و تمام صفحات دسته بندی ها و برچسب ها متاسفانه در گوگل ایندکس می شود!!!
        شما فرمودید که خودکار فعال می شود ولی چنین نیست فقط یک گزینه در منو طبقه بندی ها در بخش دسته است که نوشته نمایش دسته‌ها در نتایج جستجو که الان فعال است ولی اگر غیرفعال کنم کل صفحات دسته ها حتی صفحه ی اول دسته بندی را نوایندکس می کند در حالی که من می خوام صفحه اول و اصلی ایندکس باشد باید چکار کنم که صفحات دسته بندی و برچسب را بجز صفحه اول نوایندکس شود؟
        با تشکر

        • تیم پشتیبانی تیم پشتیبانی ۰۸ تیر ۱۳۹۹

          لطفا افزونه رو به آخرین نسخه آپدیت کنید و در صورت برطرف نشدن مشکلتون با بخش پشتیبانی سایت در ارتباط باشید

  2. U16380 ۰۵ مرداد ۱۳۹۸

    سلام
    من از افزونه Yoast SEO Premium استفاده میکنم و کد زیر برای فایل robots.txt می خوام قرار بدم این کد زیر مناسب هست مشکلی نداره؟
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Sitemap: https://site.com/sitemap_index.xml

  3. U16380 ۰۳ مرداد ۱۳۹۸

    سلام
    وقت بخیر
    1: من از افزونه Yoast SEO Premium استفاده میکنم و فایل robots.txt خودش ساخته شده ولی در پوشه public_html هاستم بررسی کردم نبود باید متن های این فایل از کجا تغییر بدم؟
    2: من کد زیر برای درج در فایل robots.txt ساختم حالا یه بررسی خوبه پیشنهادی دارید؟
    sitemap: https://mysite.com/sitemap_index.xml
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /archives/
    Disallow: /*?*
    Disallow: *?replytocom
    Disallow: /wp-*
    Disallow: /author
    Disallow: /comments/feed/
    User-agent: Mediapartners-Google*
    Allow: /
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: Adsbot-Google
    Allow: /

    User-agent: Googlebot-Mobile
    Allow: /

    • تیم پشتیبانی تیم پشتیبانی ۰۳ مرداد ۱۳۹۸

      سلام فایل ربات زیادی طولانی هست. آموزش ساخت ربات رو توی سایت ببینید کد صحیحش رو گذاشتیم.

  4. کاربر مهمان ۱۲ اسفند ۱۳۹۷

    سلام یه فایل روبوت ساختم لطف کنید چک کنید درست هستش یا نه اگه بخشی باید اضافه یا کم بشه بفرمایید اصلاح کنم
    سپاس فراوان

    User-agent:*
    Disallow: /wp-admin/
    Allow: /wp-admin/js
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-admin/css
    Allow: /wp-content/themes/woodmart/css
    Allow: /wp-content/themes/woodmart/js
    Disallow: /cgi-bin/
    Disallow: /readme.html/
    Disallow: /wp-content/cache
    Allow: /*?$
    Disallow: /*?
    Disallow: /book*/ //bookstart//
    User-agent:
    Disallow: baidu

    User-agant: Googlebot-image
    Allow: /*.gif$
    Allow: /*.png$
    Allow: /*.ico$
    Allow: /*.jpeg$
    Allow: /*.tiff$
    Allow: /*.psd$
    Allow: /*.bmp$
    Allow: /*dng$
    Allow: /*.raw$

    • رضا حسینی راد رضا حسینی راد ۱۲ اسفند ۱۳۹۷

      درود زیادی شلوغ شده توی سایت ما سرچ کنید ساخت فایل ربات آموزشش هست یه فایل ساده باید بسازید.

  5. کاربر مهمان ۱۲ مهر ۱۳۹۷

    با اینکه فایل index.php تو پوشه تم انفولد هستش ولی یک سری از آدرس ها هم مربوط به تم انفولد هست و aviaframework

  6. کاربر مهمان ۱۲ مهر ۱۳۹۷

    آگه از طریق سی پنل دایرکتوری upload را به حالت noindex تغییر بدیم مشکلی برای سایت پیش نمیاد؟
    چون زیرمجموعه public html و wpcontent هست میترسم مشکل ایندکس پبدا کنه.

  7. کاربر مهمان ۱۲ مهر ۱۳۹۷

    بعد توی این فایل باید کد خاصی بنویسیم آقای حسینی؟ چون نمی دونم باید چی باشه تو این فایل.

  8. کاربر مهمان ۱۱ مهر ۱۳۹۷

    سلام. من وقتی سایت رو تو گوگل جستجو می کنم یک سری از آدرس های مربوط به دایرکتوری آپلود میاد بالا که البته از تو سرچ کنسول آن ها را به درخواست حذف (removal url) اضافه کردم.
    می خواستم بدونم دلیل نمایش دایرکتوری آپلود تو نتایج جستجو چیه؟ میشه کل دایرکتوری آپلود رو حذف کنیم؟

    حدود 4 url به صورت زیر تو گوگل می بینم :
    Index of /wp-content/uploads/2018/
    https://example.com/wp-content/uploads/2018/?MD

    • رضا حسینی راد رضا حسینی راد ۱۱ مهر ۱۳۹۷

      سلام شما باید یه فایل index.php توی پوشه های آپلود بسازید تا جلوگیری کنه از ایندکس شدن اونها

  9. کاربر مهمان ۱۸ مرداد ۱۳۹۷

    سلام با نصب نسخه ای دیگه از قالب ( هردو نسخه اورجینال تهیه شدند از مارکت های معتبر داخلی ) باز همین مشکل وجود داره .
    البته الان توی گوگل انتهای لینک هایی که noindex شدند کلمه feed درج شده.
    نمونه : http://www.doman.com/blog/category/%D5%8%D7%22F/feed/
    http://www.domain.com/blog/12-%D9%85%D9%88%D8%B1%D8%AF/feed/

    نوایندکس بودن این ها مشکلی ایجاد میکنه یا خیر ؟ تاثیر منفی توی سئو و بازدید میزاره ؟

    • رضا حسینی راد رضا حسینی راد ۱۹ مرداد ۱۳۹۷

      بله صد البته. توی سئو تاثیر داره و نمایش داده نخواهید شد توی نتایج گوگل. از هر سایتی تهیه می کنید حتما تصویر از لایسنس بخواید

  10. کاربر مهمان ۱۷ مرداد ۱۳۹۷

    سلام اقای حسنی روز بخیر
    من حدود 15 روز پیش از یک شرکتی قالب جنه را تهیه کردم و ازش روی وبلاگ سایتمون استفاده کردیم.
    با گذشت حدود 15 روز دیروز به صورت ناگهانی توی وبمستر حدود 1000 عدد ایندکسمون حذف شدن. بعد بررسی متوجه شدم همه ایندکس های حذف شده مربوط به tag ها بودن .
    بررسی کردم و دیدم توی وبمستر جدید در بخش Status > Index coverage حدود 990 تا Excluded by ‘noindex’ tag ثبت شده.

    و توی URL Inspection لینک های حذف شده این موارد را دارند.
    Crawl
    Last crawl
    Jul 30, 2018, 4:56:22 AM
    Crawl allowed?
    Yes
    Page fetch
    Successful
    Indexing
    Indexing allowed?
    No: ‘noindex’ detected in ‘X-Robots-Tag’ http header
    User-declared canonical
    N/A
    Google-selected canonical
    N/A

    شما اطلاع دارید که از کدوم بخش قالب قسمت تگ ها نواندکس شدند ؟ (افزونه یوست سئو رو تست کردم و از سمت افزونه مشکل نبود )
    نوایندکس بودن این لینک ها مشکل ساز میشه برامون یا خیر ؟ و اینکه چجوری اینو حل کنیم؟؟

    توی فایل robots.txt هم از نوایندکس استفاده نکردیم اصلا.

    ممنون میشم راهنمایی کنید.

    • رضا حسینی راد رضا حسینی راد ۱۷ مرداد ۱۳۹۷

      سلام
      ظاهرا noindex بودن ادرس ها و دستکاری شده توی کدنویسی قالب (نال شده) . نسخه اصلی قالب رو خریداری کنید و نصب کنید مشکل حل خواهد شد.

  11. U12124 ۰۷ تیر ۱۳۹۷

    سلام خسته نباشید
    ایا نقشه سایت باید با http وارد بشه یا https

  12. کاربر مهمان ۰۱ تیر ۱۳۹۷

    سلام
    بخش Allow: /wp-content/uploads/ چه کاری می کنه؟ آیا با اضافه کردن این بخش میشه باعث شد وقتی فایلی یا عکسی آپلود می کنیم جداگانه صفحه ای ساخته و ایندکس نشه؟

    من از yoast استفاده می کنم و برای page/post/category نقشه های جداگانه گذاشتم مشکلی پیش نمی یاد یا بهتره به این شکل باشه
    Sitemap: https://example.com/sitemap_index.xml

    ممنون

  13. U12124 ۲۳ خرداد ۱۳۹۷

    سلام ممنون بابت راهنمای من فایل Robots.txt رو داخل public html قرار دادم و این کد هارو بهش اضافه کردم
    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    ولی افزونه Yoast به طور اتوماتیک نقشه سایت رو اضافه نکرد

    حالا کد بالا که قرا دادین رو که بصورت دستی اضافه کنیم مثل همین متن درست میشه مشکلی نداره

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html
    Sitemap: https://capitankala.com/post-sitemap.xml
    Sitemap: https://capitankala.com/page-sitemap.xml

    ممنون میشم راهنمایی کنید.

    • U11404 ۲۴ خرداد ۱۳۹۷

      سلام
      نقشه سایت توسط yoast خودکار ایجاد میشود به این آدرس : sitemap_index.xml
      طبق همین آموزش پیش بروید.

  14. U12124 ۱۷ خرداد ۱۳۹۷

    سلام خسته نباشید

    1 من در پوشه روت سایتم داخل این پوشه wp-snapshots فایل robots.txt رو دارم ایا باید اینو تغییر بدم

    2 یا باید به صورت جداگانه robots.txt رو بسازم و در مسیر خاصی قرار بدم

    3 اگر گزینه 1 هستش داخل این فایل این کد وجود داره

    User-agent: *
    Disallow: /wp-snapshots/

    باید کدهای رو که گفتین رو زیر همین کدها قرار بدم یا باید کامل جایگزین شن

    ممنون میشم راهنمایی کنید با تشکر

  15. کاربر مهمان ۱۶ فروردین ۱۳۹۷

    با عرض سلام وخسته نباشید به تیم میهن وردپرس و ممنون از آموزش هایی که میزارین
    من یه سوال داشتم
    نقشه سایت رو به کدوم حالت باید در روباط قرار بدیم

    Sitemap: http://www.example.com/post-sitemap.xml
    Sitemap: http://www.example.com/page-sitemap.xml

    یا

    Sitemap: http://www.example.com/sitemap.xml

    کدوم حالت بهتره ؟؟؟

    • U11404 ۱۶ فروردین ۱۳۹۷

      سلام
      آخرین مورد.
      البته اگر از yoast استفاده می کنید ادرس نقشه سایت این میشود :
      sitemap_index.xml

  16. کاربر مهمان ۱۲ اسفند ۱۳۹۶

    سلام
    شما در کد دمی که نام بردید Disallow رو به سایت مپ دادید و دسترسی ها رو بستید

    گوگل در وب مستر تولز پیام خطا به این امر داده است

    لطفا درست مقاله را منتشر کنید
    با تشکر

    • رضا حسینی راد رضا حسینی راد ۱۲ اسفند ۱۳۹۶

      سلام درست می‌فرمایید منظور در کد آخر جای گیری کد سایت مپ بود نه اینکه کد رو توی سایت قرار بدید.

  17. U10748 ۰۱ اسفند ۱۳۹۶

    سلام ببخشید من روی دوتا سایت تست کردم الان روشون یوست نصبه ولی هر دو دوخط اخر کد داخلشون نبود و فقط این بود
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    لازمه اون دو خط اخر رو اضافه کنم ؟

  18. کاربر مهمان ۲۱ اسفند ۱۳۹۵

    سلام – این مطلب خیلی ارزشمندی بود من لذت بردم  و اینکه  سایتتون هم عالیه خدا قوت    <a href=”http://www.battery-etminan.ir/”>.</a><a href=”http://ebattery.mihanblog.com/”>.</a><a href=”http://ebattery.blog.ir/”>.</a>

  19. U3937 ۲۸ آذر ۱۳۹۵

    سلاممن مدتی از طریق فایل robots دسترسی به wp-content مسدود بود ، الان 1هفتس که به همه چیز دسترسی دادم و فقط wp-admin رو بستمکلا از 1800تا عکس من 40تا ایندکس شده اونم قبل از بستن عکسا الان بعد یک هفته حتی تو گوگل ایمیج سرچ میکنم سایتمو هم همین 40تا بیشتر نمیشه و ایندکس نمیشهتو قسمت Fetch as Google بصورت دستی مطلب تازه منتشر شده رو fetch and render رو زدم که عکس نشون میده رباط نمیتونه یکسری عکسها رو ببینهstatus رو زده partial و داخل اون هم همه عکسها و حتی یکسری اسکریپتها و استایهها رو دلیل (reason) زده Temporarily unreachable !!مشکل چی میتونه باشه ؟؟؟1- فایل روباط?!User-agent: *Disallow:Disallow: /wp-admin/Sitemap: …2-  افزونه امنیتی دارم wordfence اما تو تنظیمات زده از رباط جلوگیری نشه و حتی تو لایو ویوش نشوون میده رباط ها میان و بلاک نمیشن!3- تنظیماتی تو فایل .htaccess میتونه تاثیر بذاره؟4- مرجعی سایتی چیزی تو خود همین وبمستر هست چک کنه بگه ؟5- از هاست چی؟6- یا فقط نیاز به زمان هست درست بشه؟!

  20. کاربر مهمان ۲۳ تیر ۱۳۹۵

    با سلام و خسته نباشیدمی تونم بپرسم شما از چه افزونه ای برای ستاره دار کردن مطالبتون در گوگل استفاده می کنید

  21. کاربر مهمان ۱۰ دی ۱۳۹۴

    سلام
    این فایلو درکجای هاست باید قرار دهیم درکدوم قسمت؟
    ومیخام عکسو دروردپرس واسه اسلایدر بزارم چون عکسه کوچیکه کوچک دیده میشه تواسلایدر چجوری یه کاری کنم که تواسلایدر کامل دیده بشه

    • رضا حسینی راد رضا حسینی راد ۱۰ دی ۱۳۹۴

      سلام
      فایل رو در پوشه اصلی سایتتون قرار بدید.
      در مورد عکس باید به عکس کلاس width:100% بدید تا تمام عرض نشون داده بشه