• هاست وردپرس

بهینه سازی فایل robots.txt برای سئو

optimize-robots-txt-for-seo

بهینه سازی فایل robots.txt برای سئو

با سلام و خسته نباشید به شما دوستان عزیز میهن وردپرسی . امروز می خواهیم بهینه سازی فایل ربات وردپرس را به شما عزیزان توضیح کاملی بدهیم که با این کار می توانید سئوی سایت خود را بالا ببرید تا از مطلب یا پست سایت خودتان بازدید بیشتری داشته باشید و در ضمن بر روی رتبه الکسا سایت شما سئو تآثیر زیادی دارد. در قبال ورودی بیشتر گوگل شما در آمد بیشتری خواهید داشت.

حالا چرا فایل robots.txt برای سئو مهم و ضروری می باشد؟ به دلیل این که برای ربات های گوگل و بینگ robots.txt مهم است. این فایل به دلیل این که اجازه می دهد سایت های جستجو مانند : گوگل و یاهو و یا بینگ محتویات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می باشد.

 

آیا ما به فایل روبات نیاز مندیم ؟

آیا واقعا به فایل robots.txt نیاز داریم؟

بله سایت شما برای این که گوگل یا … بتوانند این صفحه را ایندکس کنند نیاز به فایل Robots.txt دارد تا فایل روبات نباشد گوگل یا … نمی توانند به صفحه اصلی یا ایندکس سایت شما دسترسی داشته باشند و معمولآ اگر که در هاست خود فایل robots.txt نداشتید باید یک فایل جدید بسازید و نام آن را روبات بگذارید.

نحوه استفاده از فایل robots.txt :

کد و یا فرمت های این پرونده خیلی ساده است در سطر اول user agent را داریم که برای شما می گوید که از کدام سایت جستجو گر میخواهید استفاده کنید اگر از گوگل میخواهید استفاده کنید باید جلوی آن Googlebot و یا اگر که می خواهید از بینگ Bingbot استفاده می کنید و جلوی آن  قرار می دهید تا بتواند از گوگل یا بینگ کمک بگیرد. در صورتی که می خواهید تمامی ربات ها به سایت شما دسترسی داشته باشند علامت * را قرار دهید. در مرحله بعد شما باید کد های Allow و Disallow را در فایل قرار دهید مانند مثال زیر :

طریق استفاده از فایل Robots.txt:

التبه برای این که دسته بندی سایت در ایندکس شدن صفحه نمایش یا صفحه های که ساخته شده است ویا … نمایش داده نشود از افزونه WordPress SEO by Yoast باید استفاده کنید. و هدف ما از این آموزش نمایش ندادن یک بخش در گوگل این بود که شاید کسی دوست نداشته باشد گوگل به یک قسمت از سایتش نفوذ کند می تواند از این را استفاده کند که ما با افزونه بالا می توانیم قسمتی از فایل ها مانند readme.html را داخل گوگل ایندکس نشود استفاده می کنیم یا هر فایل دیگری می توانید بگذارید تا نمایش داده نشود.

برای نمایش دادن کامل سایت در گوگل باید نقشه سایت را در robots.txt قرار دهید و اگر که شما از افزونه  Wordpress Seo By Yoast استفاده می کنید افزونه به طور اتوماتیک نقشه سایت را در فایل قرار می دهد و نیاز به قرار دادن توسط شما نیست و اگر باز دیدید که در کد های robots.txt وجود ندارد باید آن که را مانند کد زیر در فایل قرار دهید تا گوگل بتواند به نقشه سایت شما دسترسی داشته باشد و محتویات را برای رجوع کننده ها نمایش دهد:

کد بالا به تمامی ربات ها اجازه می دهد که بتوانند به نقشه سایت شما دسترسی کامل پیدا کنند.

امیدوارم که از این مطلب ما هم راضی باشید. یا حق :)

راستی! برای دریافت مطالب وردپرسی در کانال تلگرام میهن وردپرس عضو شوید.

آنلاین یاد بگیرید

نظرات کاربران

  1. 16 فروردین 1397 ساعت 13:01

    با عرض سلام وخسته نباشید به تیم میهن وردپرس و ممنون از آموزش هایی که میزارین
    من یه سوال داشتم
    نقشه سایت رو به کدوم حالت باید در روباط قرار بدیم

    Sitemap: http://www.example.com/post-sitemap.xml
    Sitemap: http://www.example.com/page-sitemap.xml

    یا

    Sitemap: http://www.example.com/sitemap.xml

    کدوم حالت بهتره ؟؟؟

    • محمد مقدم
      16 فروردین 1397 ساعت 14:29

      سلام
      آخرین مورد.
      البته اگر از yoast استفاده می کنید ادرس نقشه سایت این میشود :
      sitemap_index.xml

  2. 12 اسفند 1396 ساعت 11:49

    سلام
    شما در کد دمی که نام بردید Disallow رو به سایت مپ دادید و دسترسی ها رو بستید

    گوگل در وب مستر تولز پیام خطا به این امر داده است

    لطفا درست مقاله را منتشر کنید
    با تشکر

    • رضا حسینی راد
      12 اسفند 1396 ساعت 12:06

      سلام درست می‌فرمایید منظور در کد آخر جای گیری کد سایت مپ بود نه اینکه کد رو توی سایت قرار بدید.

  3. 1 اسفند 1396 ساعت 14:27

    سلام ببخشید من روی دوتا سایت تست کردم الان روشون یوست نصبه ولی هر دو دوخط اخر کد داخلشون نبود و فقط این بود
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    لازمه اون دو خط اخر رو اضافه کنم ؟

  4. 20 اسفند 1395 ساعت 21:02

    سلام – این مطلب خیلی ارزشمندی بود من لذت بردم  و اینکه  سایتتون هم عالیه خدا قوت    <a href=”http://www.battery-etminan.ir/”>.</a><a href=”http://ebattery.mihanblog.com/”>.</a><a href=”http://ebattery.blog.ir/”>.</a>

  5. 27 آذر 1395 ساعت 15:03

    سلاممن مدتی از طریق فایل robots دسترسی به wp-content مسدود بود ، الان 1هفتس که به همه چیز دسترسی دادم و فقط wp-admin رو بستمکلا از 1800تا عکس من 40تا ایندکس شده اونم قبل از بستن عکسا الان بعد یک هفته حتی تو گوگل ایمیج سرچ میکنم سایتمو هم همین 40تا بیشتر نمیشه و ایندکس نمیشهتو قسمت Fetch as Google بصورت دستی مطلب تازه منتشر شده رو fetch and render رو زدم که عکس نشون میده رباط نمیتونه یکسری عکسها رو ببینهstatus رو زده partial و داخل اون هم همه عکسها و حتی یکسری اسکریپتها و استایهها رو دلیل (reason) زده Temporarily unreachable !!مشکل چی میتونه باشه ؟؟؟1- فایل روباط?!User-agent: *Disallow:Disallow: /wp-admin/Sitemap: …2-  افزونه امنیتی دارم wordfence اما تو تنظیمات زده از رباط جلوگیری نشه و حتی تو لایو ویوش نشوون میده رباط ها میان و بلاک نمیشن!3- تنظیماتی تو فایل .htaccess میتونه تاثیر بذاره؟4- مرجعی سایتی چیزی تو خود همین وبمستر هست چک کنه بگه ؟5- از هاست چی؟6- یا فقط نیاز به زمان هست درست بشه؟!

  6. 22 تیر 1395 ساعت 12:03

    با سلام و خسته نباشیدمی تونم بپرسم شما از چه افزونه ای برای ستاره دار کردن مطالبتون در گوگل استفاده می کنید

  7. 11 دی 1394 ساعت 09:05

    سلام
    این فایلو درکجای هاست باید قرار دهیم درکدوم قسمت؟
    ومیخام عکسو دروردپرس واسه اسلایدر بزارم چون عکسه کوچیکه کوچک دیده میشه تواسلایدر چجوری یه کاری کنم که تواسلایدر کامل دیده بشه

    • رضا حسینی راد
      11 دی 1394 ساعت 14:24

      سلام
      فایل رو در پوشه اصلی سایتتون قرار بدید.
      در مورد عکس باید به عکس کلاس width:100% بدید تا تمام عرض نشون داده بشه

enamad