فایل robots.txt چیست؟ بهینه‌سازی فایل ربات در وردپرس

فایل robots.txt چیست؟ بهینه‌سازی فایل ربات در وردپرس

فایل robots.txt به ربات‌های موتورهای جستجو می‌گه سراغ کدوم مسیرهای سایتتون برن و کدوم مسیرها رو نخزن. این فایل به‌تنهایی رتبه سایت رو بالا نمی‌بره و راهی برای مخفی‌کردن اطلاعات خصوصی هم نیست؛ ولی اگه درست تنظیمش کنید، ربات‌ها وقتشون رو برای صفحه‌ها و فایل‌های مهم‌تر سایت صرف می‌کنن.

در این راهنما اول تفاوت خزش و ایندکس رو خیلی ساده بررسی می‌کنیم. بعد می‌بینید وردپرس چطور فایل robots.txt مجازی می‌سازه، هر دستور چه معنی‌ای داره و چه تنظیمی برای بیشتر سایت‌ها امن‌تره. در ادامه هم روش ویرایش فایل، معرفی نقشه سایت، جلوگیری درست از ایندکس و آزمایش تغییرات در Google Search Console رو قدم‌به‌قدم یاد می‌گیرید.

آنچه در این مقاله می‌خوانید۱۳ بخش

فایل robots.txt چیست و چه کاری انجام می‌ده؟

robots.txt یک فایل متنی ساده در ریشه سایت هست. خزنده یا Crawler، یعنی رباتی که لینک‌ها و صفحه‌های وب رو بررسی می‌کنه، معمولاً قبل از خزش سایت این فایل رو می‌خونه. شما داخل فایل مشخص می‌کنید هر خزنده اجازه خزش چه مسیرهایی رو داره.

مثلاً می‌تونید به همه ربات‌ها بگید وارد یک پوشه غیرضروری نشن، ولی همچنان به فایل مهمی داخل همون پوشه دسترسی داشته باشن. این قانون‌ها برای مدیریت خزش هستن و رفتار همه ربات‌های اینترنت رو تضمین نمی‌کنن.

تفاوت خزش و ایندکس به زبان ساده

خزش یعنی ربات موتور جستجو یک آدرس رو باز و محتوای اون رو بررسی کنه. ایندکس یعنی موتور جستجو اطلاعات اون صفحه رو پردازش و در فهرست خودش ذخیره کنه تا شاید بعداً در نتایج جستجو نشونش بده. اگه دوست دارید این مسیر رو دقیق‌تر بشناسید، راهنمای نحوه کار گوگل از خزش تا رتبه‌بندی رو بخونید.

فایل robots.txt بیشتر روی مرحله خزش اثر می‌ذاره. وقتی مسیری رو با Disallow می‌بندید، از یک خزنده سازگار می‌خواید اون مسیر رو نخزه. این کار لزوماً به معنی حذف آدرس از فهرست گوگل نیست.

فایل robots.txt چه کاری انجام نمی‌ده؟

  • تضمین نمی‌کنه یک صفحه از نتایج گوگل حذف بشه.
  • محتوای خصوصی رو امن یا مخفی نمی‌کنه.
  • جلوی ربات‌های مخربی رو که قانون‌ها رو رعایت نمی‌کنن نمی‌گیره.
  • به‌تنهایی باعث افزایش رتبه، ترافیک یا فروش نمی‌شه.
  • جای دستور noindex، رمز عبور، ورود کاربری یا تنظیمات امنیتی سرور رو نمی‌گیره.

آیا سایت وردپرسی شما به فایل robots.txt نیاز داره؟

نبودن یک فایل robots.txt اختصاصی جلوی خزش یا ایندکس سایتتون رو نمی‌گیره. اگه هیچ محدودیتی تعریف نکرده باشید، ربات‌های موتورهای جستجو معمولاً می‌تونن صفحه‌های عمومی سایت رو بررسی کنن. خیلی از سایت‌های کوچک هم به قانون‌های پیچیده نیاز ندارن.

آیا سایت وردپرسی شما به فایل robots.txt نیاز داره؟
آیا سایت وردپرسی شما به فایل robots.txt نیاز داره؟

فایل robots.txt مجازی وردپرس چطور کار می‌کنه؟

وردپرس می‌تونه بدون ساختن یک فایل فیزیکی، پاسخ آدرس /robots.txt رو به‌صورت مجازی تولید کنه. وقتی این آدرس رو باز می‌کنید، وب‌سرور درخواست رو به وردپرس می‌رسونه و وردپرس متن مناسب رو برمی‌گردونه.

پس اگه داخل File Manager هاست فایلی به نام robots.txt پیدا نکردید، ولی آدرس اون در مرورگر باز شد، احتمالاً نسخه مجازی وردپرس رو می‌بینید. این رفتار عادیه و لازم نیست فقط برای داشتن یک فایل قابل‌مشاهده، نسخه فیزیکی بسازید.

چه زمانی بهتره فایل robots.txt اختصاصی بسازید؟

وقتی می‌خواید قانون مشخصی برای یک خزنده تعریف کنید، یک مسیر غیرضروری رو از خزش خارج کنید یا آدرس نقشه سایت متفاوتی بذارید، فایل اختصاصی به کارتون میاد. سایت‌های بزرگ، فروشگاه‌ها و سایت‌هایی که آدرس‌های فیلترشده زیادی تولید می‌کنن بیشتر از مدیریت دقیق خزش سود می‌برن.

قبل از ساخت فایل، باید بدونید هر مسیر چه محتوایی داره و مسدودشدن اون چه اثری می‌ذاره. اگه مطمئن نیستید، تنظیم ساده وردپرس معمولاً از یک فایل شلوغ با ده‌ها قانون نامطمئن بهتره.

چطور فایل robots.txt سایتتون رو ببینید؟

پیدا کردن فایل با آدرس مستقیم

دامنه سایتتون رو در مرورگر باز کنید و /robots.txt رو بعد از اون بذارید. برای نمونه، آدرس فایل یک سایت با دامنه example.com این شکلیه:

کد
https://example.com/robots.txt

فایل باید روی دامنه و پروتکل درست سایت قرار بگیره. قانون‌های https://example.com/robots.txt لزوماً برای زیردامنه‌ای مثل shop.example.com کاربرد ندارن و اون زیردامنه به فایل خودش نیاز داره.

بررسی در دسترس بودن فایل برای ربات‌ها

آدرس فایل رو در یک پنجره ناشناس مرورگر باز کنید. اگه برای دیدنش مجبور به ورود، حل کپچا یا عبور از صفحه امنیتی شدید، ممکنه ربات‌ها هم نتونن فایل رو دریافت کنن. خطاهای سرور و ریدایرکت‌های زنجیره‌ای هم باید بررسی بشن.

متن فایل باید ساده و خوانا باشه. نمایش صفحه ورود وردپرس، کد HTML قالب یا یک صفحه خطای هاست در این آدرس نشون می‌ده پاسخ درست دریافت نمی‌شه.

دستورهای فایل robots.txt چطور کار می‌کنن؟

هر گروه از قانون‌ها معمولاً با User-agent شروع می‌شه و بعد از اون دستورهای Allow یا Disallow میان. دستورها رو در خط‌های جدا بنویسید و بین نام دستور و مقدار اون از دونقطه استفاده کنید.

دستور User-agent برای انتخاب خزنده

User-agent مشخص می‌کنه قانون‌های بعدی برای کدوم خزنده هستن. علامت ستاره یعنی گروه قانون‌ها برای همه خزنده‌هایی نوشته شده که فایل robots.txt رو رعایت می‌کنن:

کد
User-agent: *

اگه قانون ویژه‌ای برای Googlebot داشته باشید، نام اون رو جدا می‌نویسید. ولی برای بیشتر سایت‌های معمولی، تعریف یک گروه عمومی ساده‌تر و کم‌خطاتر هست.

دستور Disallow برای بستن مسیر خزش

Disallow از خزنده انتخاب‌شده می‌خواد مسیر مشخصی رو نخزه. این نمونه دسترسی به مسیر /private-area/ رو می‌بنده:

کد
User-agent: *
Disallow: /private-area/

اگه بعد از Disallow چیزی ننویسید، مسیری بسته نمی‌شه. اما نوشتن فقط یک اسلش، یعنی Disallow: /، خزش کل سایت رو برای اون گروه می‌بنده. پس این دو حالت رو با هم اشتباه نگیرید.

دستور Allow برای باز گذاشتن یک مسیر مشخص

Allow وقتی مفیده که یک مسیر کلی رو بسته‌اید، ولی می‌خواید فایل یا زیرمسیر مشخصی داخل اون قابل‌خزش بمونه. نمونه زیر یک پوشه رو می‌بنده و دسترسی به یک فایل خاص رو باز می‌ذاره:

کد
User-agent: *Disallow: /example-folder/Allow: /example-folder/needed-file.css

خزنده‌های اصلی مثل Googlebot از Allow پشتیبانی می‌کنن، ولی نباید فرض کنید همه ربات‌ها این دستور رو دقیقاً به یک شکل اجرا می‌کنن. این نوع استثناها رو فقط وقتی اضافه کنید که ساختار مسیرها رو دقیق می‌شناسید.

دستور Sitemap برای معرفی نقشه سایت

Sitemap آدرس کامل نقشه سایت XML رو به خزنده‌ها معرفی می‌کنه. نقشه سایت XML فایلیه که آدرس صفحه‌های مهم سایت رو فهرست می‌کنه. این دستور باید آدرس کامل و ترجیحاً HTTPS داشته باشه:

کد
Sitemap: https://example.com/wp-sitemap.xml

اضافه‌کردن این خط مفیده، ولی تنها راه معرفی نقشه سایت نیست. می‌تونید نقشه رو مستقیماً در Google Search Console هم ثبت کنید.

قانون‌های مهم نوشتن مسیرها و استفاده از علامت‌ها

  • هر دستور رو در یک خط جدا بنویسید.
  • مسیرها به حروف بزرگ و کوچک حساس هستن؛ /Folder/ با /folder/ یکی نیست.
  • خزنده‌های اصلی مثل Googlebot می‌تونن علامت * رو به‌جای بخشی از متن مسیر در نظر بگیرن.
  • خزنده‌های اصلی مثل Googlebot می‌تونن از علامت $ برای مشخص‌کردن انتهای آدرس استفاده کنن.
  • برای توضیحی که ربات نباید اجراش کنه، اول خط علامت # بذارید.
  • آدرس Sitemap رو کامل بنویسید، ولی مقدار Allow و Disallow معمولاً با اسلش و مسیر شروع می‌شه.

همه خزنده‌ها الزاماً از Allow، ستاره و علامت پایان به یک شکل پشتیبانی نمی‌کنن. وقتی چند قانون با هم تطبیق دارن، نتیجه هم می‌تونه به طول و جزئیات مسیر وابسته باشه. برای همین بعد از نوشتن این الگوها، حتماً آدرس‌های واقعی رو آزمایش کنید.

بهترین تنظیم robots.txt برای وردپرس چیست؟

یک تنظیم واحد برای همه سایت‌ها نداریم. بهترین فایل، ساده‌ترین فایلیه که نیاز واقعی سایتتون رو پوشش می‌ده و دسترسی ربات‌ها به صفحه‌ها و منابع مهم رو خراب نمی‌کنه.

یک نمونه امن و ساده برای بیشتر سایت‌های وردپرسی

برای خیلی از سایت‌های وردپرسی، نمونه زیر می‌تونه یک نقطه شروع رایج باشه؛ ولی تنظیم قطعی برای همه سایت‌ها نیست. مسیر مدیریت وردپرس بسته می‌شه، ولی فایل admin-ajax.php که بعضی قابلیت‌های سایت به اون نیاز دارن باز می‌مونه:

کد
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://example.com/wp-sitemap.xml

دامنه example.com رو با دامنه خودتون عوض کنید. اگه افزونه سئو نقشه سایت متفاوتی می‌سازه، آدرس Sitemap رو هم با آدرس واقعی همون نقشه جایگزین کنید. قبل از ذخیره هم مطمئن بشید مسیر ورود یا مدیریت سایتتون تغییر نکرده و افزونه‌ای به دسترسی متفاوتی نیاز نداره.

چه مسیرهایی رو نباید بدون بررسی مسدود کنید؟

پوشه‌های /wp-content/، /wp-content/plugins/ و /wp-content/themes/ رو کورکورانه نبندید. این مسیرها ممکنه فایل‌های CSS، JavaScript، فونت یا تصویر لازم برای نمایش صفحه رو داشته باشن.

صفحه نوشته‌ها، محصولات، دسته‌بندی‌های مهم و برگه‌های فرود هم نباید فقط به خاطر کم‌اهمیت به‌نظررسیدن مسدود بشن. اول نقش هر مسیر در سایت و ورودی‌های جستجوی اون رو بررسی کنید.

چرا فایل‌های CSS، JavaScript و تصاویر باید در دسترس باشن؟

گوگل برای درک بهتر صفحه، اون رو همراه با بسیاری از فایل‌های ظاهری و اجرایی پردازش می‌کنه. اگه CSS یا JavaScript مهمی رو ببندید، ممکنه گوگل صفحه رو ناقص ببینه یا نتونه بعضی محتوای اون رو درست تشخیص بده.

تصاویر مهم هم بخشی از محتوای صفحه هستن و می‌تونن در جستجوی تصویر دیده بشن. برای جزئیات بیشتر، راهنمای سئو تصاویر در وردپرس و آموزش رفع خطای دسترسی Googlebot به فایل‌های CSS و JavaScript رو ببینید.

تنظیم robots.txt برای فروشگاه ووکامرسی

فروشگاه‌های ووکامرسی ممکنه آدرس‌های زیادی برای فیلتر، مرتب‌سازی، جستجو، سبد خرید و حساب کاربری تولید کنن. ولی نباید فهرستی عمومی از مسیرها رو بدون بررسی روی هر فروشگاهی کپی کنید؛ چون ساختار پیوندها، افزونه‌ها و نیاز هر فروشگاه فرق داره.

اول در گزارش Page indexing و ابزار URL Inspection در Google Search Console بررسی کنید کدوم آدرس‌های فیلترشده پیدا یا مسدود شدن. برای دیدن جزئیات فنی خزش هم می‌تونید گزارش Crawl stats رو بررسی کنید، ولی این گزارش فهرست کامل همه آدرس‌های خزیده‌شده رو نشون نمی‌ده. بعد مطمئن بشید بستن یک الگو، محصول یا دسته‌بندی مهمی رو از دسترس خارج نمی‌کنه. برای صفحه‌هایی مثل سبد خرید و حساب کاربری، تنظیمات noindex افزونه سئو معمولاً از تکیه‌کردن صرف به robots.txt مناسب‌تره.

چطور فایل robots.txt رو در وردپرس بسازید یا ویرایش کنید؟

قبل از تغییر، متن فعلی فایل رو در یک جای امن کپی کنید. بعد فقط قانون‌هایی رو اضافه کنید که دلیل مشخصی برای اون‌ها دارید. یک علامت اشتباه می‌تونه دسترسی ربات‌ها به بخش بزرگی از سایت رو ببنده.

ویرایش فایل با افزونه Yoast SEO

Yoast SEO یک افزونه سئو برای وردپرسه. در بعضی نسخه‌ها و نصب‌ها، ابزار ویرایش فایل از بخش ابزارهای افزونه در دسترسه. وارد پیشخوان وردپرس بشید، منوی Yoast SEO رو باز کنید و دنبال بخش Tools یا File editor بگردید.

اگه این گزینه رو نمی‌بینید، به این معنی نیست که سایتتون robots.txt نداره. نسخه افزونه، نوع نصب، وجود فایل واقعی و دسترسی نوشتن روی فایل‌ها می‌تونه روی نمایش این ابزار اثر بذاره. در این حالت می‌تونید فایل واقعی رو از پنل هاست بسازید یا ویرایش کنید.

ساخت فایل واقعی از طریق هاست

  1. وارد پنل مدیریت هاست بشید و File Manager رو باز کنید.
  2. به پوشه ریشه دامنه برید؛ این پوشه معمولاً public_html یا پوشه اختصاصی دامنه هست.
  3. بررسی کنید فایل robots.txt از قبل ساخته نشده باشه.
  4. اگه فایل ندارید، یک فایل متنی دقیقاً با نام robots.txt بسازید.
  5. قانون‌های موردنیاز رو وارد و فایل رو ذخیره کنید.
  6. آدرس https://example.com/robots.txt رو در مرورگر باز کنید و نتیجه رو ببینید.
بررسی فایل public_html
بررسی فایل public_html

نام فایل باید با حروف کوچک و بدون فاصله باشه. فایل رو در ریشه همون دامنه‌ای بذارید که می‌خواید قانون‌ها روی اون اجرا بشن.

تفاوت فایل واقعی با robots.txt مجازی وردپرس

نسخه مجازی رو خود وردپرس هنگام دریافت درخواست تولید می‌کنه و معمولاً فایل مستقلی در هاست نداره. فایل واقعی روی فضای هاست ذخیره می‌شه و وب‌سرور اون رو مستقیماً تحویل می‌ده.

وقتی فایل واقعی در ریشه سایت بسازید، معمولاً همون فایل جای پاسخ مجازی وردپرس رو می‌گیره. پس بعد از ساخت فایل واقعی، تغییرهایی که افزونه یا قالب روی خروجی مجازی اعمال می‌کنه شاید دیگه دیده نشن.

چطور نقشه سایت وردپرس رو به robots.txt اضافه کنید؟

اول آدرس واقعی نقشه سایت رو در مرورگر باز کنید. اگه فهرست آدرس‌ها یا فهرست چند نقشه فرعی رو دیدید، می‌تونید آدرس کامل اون رو با دستور Sitemap داخل robots.txt بذارید.

نقشه سایت پیش‌فرض وردپرس در wp-sitemap.xml

وردپرس نقشه سایت پیش‌فرض رو معمولاً در مسیر زیر ارائه می‌کنه:

کد
https://example.com/wp-sitemap.xml

برای معرفی اون در فایل robots.txt این خط رو اضافه کنید و دامنه نمونه رو با دامنه خودتون عوض کنید:

کد
Sitemap: https://example.com/wp-sitemap.xml

نقشه سایت Yoast SEO در sitemap_index.xml

وقتی قابلیت نقشه سایت Yoast SEO فعال باشه، آدرس فهرست نقشه‌ها معمولاً این شکلیه:

کد
https://example.com/sitemap_index.xml

در این حالت همین فهرست اصلی رو معرفی کنید و لازم نیست نقشه نوشته‌ها، برگه‌ها و دسته‌بندی‌ها رو یکی‌یکی داخل robots.txt بذارید:

کد
Sitemap: https://example.com/sitemap_index.xml

ثبت نقشه سایت در Google Search Console

  1. وارد ویژگی درست سایت در Google Search Console بشید.
  2. از منوی کناری بخش Sitemaps رو باز کنید.
  3. مسیر نقشه، مثل wp-sitemap.xml یا sitemap_index.xml، رو وارد کنید.
  4. روی Submit بزنید و وضعیت ثبت رو بررسی کنید.

ثبت نقشه سایت به گوگل کمک می‌کنه آدرس‌های مهم رو پیدا کنه، ولی تضمین نمی‌کنه همه اون‌ها ایندکس بشن. برای آشنایی با گزارش‌ها و ابزارهای این سرویس، آموزش Google Search Console رو ببینید.

چطور جلوی ایندکس شدن یک صفحه رو بگیرید؟

اگه هدفتون اینه که یک صفحه در نتایج جستجو دیده نشه، robots.txt ابزار اصلی این کار نیست. روش درست به عمومی یا خصوصی‌بودن محتوا بستگی داره.

چرا Disallow جای noindex رو نمی‌گیره؟

Disallow خزش صفحه رو محدود می‌کنه، ولی ممکنه گوگل آدرس اون رو از لینک‌های سایت‌های دیگه پیدا کنه و بدون توضیحات در نتایج نشون بده. از طرف دیگه، اگه خزش صفحه بسته باشه، ربات نمی‌تونه دستور noindex داخل صفحه رو ببینه.

پس صفحه‌ای رو که باید noindex اون خونده بشه، هم‌زمان در robots.txt نبندید. اول اجازه بدید ربات صفحه رو بخزه و دستور noindex رو پردازش کنه.

استفاده از noindex برای صفحه‌های عمومی

noindex دستوریه که به موتور جستجو می‌گه صفحه رو در نتایج نگه نداره. برای صفحه‌ای که عموم کاربران می‌تونن بازش کنن ولی نباید در نتایج جستجو دیده بشه، معمولاً می‌تونید تنظیم نمایش در موتورهای جستجو رو از افزونه سئو روی noindex بذارید.

بعد از اعمال تنظیم، صفحه باید برای ربات قابل‌خزش بمونه تا دستور رو ببینه. حذف صفحه از نتایج هم ممکنه فوری نباشه و به خزش دوباره اون بستگی داره.

محافظت از محتوای خصوصی با رمز عبور یا ورود کاربری

برای فاکتور، اطلاعات مشتری، فایل داخلی یا هر محتوای حساس دیگه از robots.txt استفاده نکنید. این فایل عمومی هست و هر کسی می‌تونه مسیرهای نوشته‌شده داخل اون رو ببینه.

محتوای خصوصی رو پشت ورود کاربری، رمز عبور یا محدودیت درست سرور بذارید. اگه داده واقعاً حساسه، فقط پنهان‌کردن لینک یا استفاده از noindex هم امنیت کافی ایجاد نمی‌کنه.

چطور فایل robots.txt رو بررسی و آزمایش کنید؟

هر تغییری رو با چند آدرس واقعی آزمایش کنید؛ یک صفحه مهم، یک نوشته، یک محصول، یک فایل CSS و مسیری که عمداً بسته‌اید. این کار خیلی سریع‌تر از پیدا‌کردن مشکل بعد از افت خزش سایت هست.

بررسی یک آدرس در Google Search Console

  1. Google Search Console رو باز و ویژگی درست سایت رو انتخاب کنید.
  2. آدرس کامل صفحه رو در نوار URL Inspection وارد کنید.
  3. جزئیات ایندکس، آخرین خزش و پیام مربوط به مسدودشدن با robots.txt رو بررسی کنید.
  4. اگه گزینه آزمایش زنده در دسترس بود، اون رو اجرا کنید تا دسترسی فعلی گوگل به صفحه بررسی بشه.
نوار URL Inspection
نوار URL Inspection

گزارش ذخیره‌شده معمولاً وضعیت ثبت‌شده از بررسی قبلی گوگل رو نشون می‌ده و ممکنه با وضعیت همین لحظه فرق داشته باشه. آزمایش زنده هم همه شرایط ایندکس‌شدن صفحه رو تضمین نمی‌کنه؛ پس نتیجه رو کنار زمان آخرین خزش و گزارش Page indexing بررسی کنید.

پیدا کردن خطاهای خزش و مسیرهای مسدودشده

گزارش Page indexing رو برای پیام‌هایی بررسی کنید که به مسدودشدن با robots.txt مربوط هستن. اگه یک صفحه مهم مسدود شده، متن robots.txt رو باز کنید و دنبال قانونی بگردید که با مسیر اون صفحه تطبیق داره.

فقط صفحه HTML رو بررسی نکنید. فایل‌های CSS، JavaScript و تصاویر اصلی هم ممکنه با یک قانون پوشه‌ای بسته شده باشن. ابزار URL Inspection و اطلاعات Crawl stats می‌تونن برای پیدا‌کردن مشکل سرنخ بدن، ولی فهرست کامل همه فایل‌های خزیده‌شده رو در اختیارتون نمی‌ذارن.

بررسی دوباره سایت بعد از هر تغییر

بعد از ذخیره فایل، اون رو در مرورگر باز کنید و مطمئن بشید نسخه تازه نمایش داده می‌شه. کش افزونه، سرور یا CDN ممکنه نسخه قبلی رو نگه داره؛ پس اگه لازم بود کش مرتبط رو پاک کنید.

چند صفحه مهم رو دوباره آزمایش کنید و طی روزهای بعد گزارش‌های Google Search Console رو زیر نظر بگیرید. تغییر robots.txt همیشه بلافاصله در گزارش‌ها دیده نمی‌شه، چون خزنده باید نسخه تازه فایل رو دوباره دریافت کنه.

اشتباه‌های رایج در بهینه‌سازی فایل robots.txt در وردپرس

  • مسدود کردن کل سایت با یک دستور اشتباه: دستور Disallow: / خزش همه مسیرهای سایت رو برای گروه مربوط می‌بنده.
  • بستن صفحه‌ای که دستور noindex داره: وقتی خزنده نتونه صفحه رو باز کنه، احتمالاً دستور noindex داخل اون رو هم نمی‌بینه.
  • مسدود کردن فایل‌های لازم برای نمایش صفحه: بستن پوشه افزونه‌ها یا قالب ممکنه دسترسی به CSS، JavaScript و تصاویر مهم رو قطع کنه.
  • استفاده از robots.txt برای پنهان کردن اطلاعات خصوصی: این فایل عمومی هست و ابزار امنیتی به حساب نمیاد.
  • نوشتن آدرس اشتباه نقشه سایت: استفاده از دامنه، پروتکل یا مسیر اشتباه باعث می‌شه خزنده نقشه موردنظر رو پیدا نکنه.
  • انتظار افزایش مستقیم رتبه و ترافیک از این فایل: robots.txt ابزار مدیریت خزشه و به‌تنهایی سیگنال مستقیم رتبه‌بندی نیست.

چک‌لیست نهایی بهینه‌سازی فایل robots.txt در وردپرس

  1. فایل robots.txt سایتتون رو با آدرس مستقیم باز کنید.
  2. مسیرهای مسدودشده رو خط‌به‌خط بررسی کنید.
  3. دسترسی به صفحه‌ها، CSS، JavaScript و تصاویر مهم رو باز نگه دارید.
  4. آدرس درست نقشه سایت رو با HTTPS وارد کنید.
  5. صفحه‌های مهم رو با Google Search Console آزمایش کنید.
  6. بعد از تغییرات، وضعیت خزش سایت رو دوباره بررسی کنید.

بهینه‌سازی فایل robots.txt فقط یکی از بخش‌های فنی سایت هست. برای دیدن بقیه موارد مهم، راهنمای سئو تکنیکال وردپرس رو هم بخونید.

سؤال‌های متداول درباره فایل robots.txt وردپرس

آیا نبودن فایل robots.txt جلوی ایندکس شدن سایت رو می‌گیره؟

نه. نبودن فایل robots.txt اختصاصی معمولاً جلوی خزش یا ایندکس صفحه‌های عمومی سایت رو نمی‌گیره. وردپرس هم می‌تونه این فایل رو به‌صورت مجازی ارائه کنه.

آیا robots.txt رتبه سایت رو مستقیم بهتر می‌کنه؟

نه. این فایل ابزار مدیریت خزشه و به‌تنهایی رتبه سایت رو مستقیم بالا نمی‌بره. تنظیم درست اون فقط کمک می‌کنه دسترسی ربات‌ها به بخش‌های مهم سایت خراب نشه.

آیا می‌شه با robots.txt یک صفحه رو از نتایج گوگل حذف کرد؟

نه، نتیجه قطعی نمی‌گیرید. برای صفحه عمومی از noindex استفاده کنید و اجازه بدید ربات صفحه رو بخزه. برای محتوای خصوصی هم ورود کاربری، رمز عبور یا محدودیت سرور لازمه.

آیا باید پوشه wp-admin رو مسدود کنیم؟

بستن مسیر /wp-admin/ و باز نگه‌داشتن /wp-admin/admin-ajax.php یک تنظیم رایجه، ولی نسخه قطعی برای همه سایت‌ها نیست. قبل از تغییر، عملکرد سایت، مسیر مدیریت و نیاز افزونه‌هاتون رو بررسی کنید.

آیا اضافه کردن نقشه سایت به robots.txt ضروریه؟

نه، ضروری نیست؛ ولی پیدا‌کردن نقشه سایت رو برای خزنده‌ها راحت‌تر می‌کنه. می‌تونید نقشه سایت رو جداگانه در Google Search Console هم ثبت کنید.

بعد از تغییر robots.txt چقدر طول می‌کشه ربات‌ها نسخه تازه رو ببینن؟

زمان ثابتی نداره. خزنده باید فایل رو دوباره دریافت کنه و نسخه‌های کش‌شده هم باید تازه بشن. بعد از تغییر، فایل رو مستقیم باز کنید و وضعیت صفحه‌های مهم رو در Google Search Console بررسی کنید.

جمع‌بندی

برای بهینه‌سازی فایل robots.txt در وردپرس، لازم نیست ده‌ها مسیر رو مسدود کنید. اول فایل فعلی رو ببینید، فرق خزش و ایندکس رو در نظر بگیرید و فقط مسیرهایی رو ببندید که واقعاً نباید خزیده بشن. دسترسی به صفحه‌ها و منابع مهم رو باز نگه دارید و آدرس درست نقشه سایت رو هم معرفی کنید.

یادتون نره robots.txt ابزار امنیتی یا راه حذف قطعی صفحه از گوگل نیست. برای جلوگیری از ایندکس صفحه عمومی از noindex و برای محتوای خصوصی از ورود کاربری یا رمز عبور استفاده کنید. در پایان هم هر تغییر رو با چند آدرس واقعی و Google Search Console آزمایش کنید تا یک قانون اشتباه جلوی خزش بخش مهمی از سایتتون رو نگیره.

نظر شما در این مورد چیه؟

  1. U412603۱۷ اردیبهشت ۱۴۰۵

    سلام و درود
    بنده وقتی تو مرورگر سرچ کردم https://www.*******.com/robots.txt
    فایل robots.txt من این شکل است
    User-agent: *
    Disallow: /wp-content/uploads/wc-logs/
    Disallow: /wp-content/uploads/woocommerce_transient_files/
    Disallow: /wp-content/uploads/woocommerce_uploads/
    Disallow: /*?add-to-cart=
    Disallow: /*?*add-to-cart=
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    # START YOAST BLOCK
    # —————————
    User-agent: *
    Disallow:

    Sitemap: https://www.**********.com/sitemap_index.xml
    # —————————
    # END YOAST BLOCK
    Sitemap: https://www.************.com/xmlsitemap.xml

    Allow: /http://rsssitemap.xml
    Allow: /http://rsslatest.xml
    Allow: /http://htmlsitemap.htm

    آیا درست هست؟

    • تیم پشتیبانیتیم پشتیبانی۲۳ اردیبهشت ۱۴۰۵

      معمولا allow کردن چندین sitemap نیاز نیست و اضافه کردن سایت مپ اصلی کافیست.

  2. U387987۲۲ مرداد ۱۴۰۴

    User-agent: *
    Disallow: /wp-content/uploads/wc-logs/
    Disallow: /wp-content/uploads/woocommerce_transient_files/
    Disallow: /wp-content/uploads/woocommerce_uploads/
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    # START YOAST BLOCK
    # —————————
    User-agent: *
    allow:

    Sitemap: ropina.ir/sitemap_index.xml
    # —————————
    # END YOAST BLOCK

    به نظرتون این کد درسته؟

  3. U343197۸ اردیبهشت ۱۴۰۳

    سلام وقت بخیر
    من سایتم رو به سرچ کنسول وصل کرده بودم و سایت مپ هم گذاشته بودم و فایل robots.txt هم درست کرده بودم و همه چی اوکی بود
    ولی فرداش یهو سرچ کنسول ارور robots.txt unreachable داد و دیگه درست نشد
    کلاً 3,4 روزه که به سرچ کنسول وصل شدم

  4. U314162۲۵ فروردین ۱۴۰۳

    با عرض سلام و خسته نباشید
    از قسمت sitemaps سرچ کنسول دیدیم که نوشته status = couldn’t fetch
    بعدش رفتم فایل robots سایتم رو چک کردم که به این صورت بود :
    User-agent: MJ12bot
    Disallow: /
    User-agent: AhrefsBot
    Disallow: /
    User-agent: msnbot
    Disallow: /
    User-agent: amazonbot
    Disallow: /
    User-agent: bingbot
    Disallow: /
    User-agent: YandexBot
    Disallow: /
    از اونجایی که دیدم اسمی از بات گوگل نیورده این دو خط هم اضافه کردم :
    User-agent: Googlebot
    Disallow: /
    به نظرتون الان مشکل سایت مپ سایتم حل میشه ؟

  5. U334948۹ اسفند ۱۴۰۲

    درود و خسته نباشد
    بنده فایل robots.txt سایت مهن وردپرس رو بررسی کردم و با این کد برخورد کردم
    Disallow: /api/
    api که مهمه اما چرا از دید robat مخفی کردید و دسترسی ندادید؟
    ممنون میشم بگید🙂

  6. U332624۱۵ آبان ۱۴۰۲

    سلام توی یواست سئو بخش ابزار ها گزینه ای راجب ویرایش فایل نیست که من فایل robotب سازم فقط دوتا گزینه ویرایش گروهی و درون رزیزی/ برون ریزی هست بقیه پلاگین هم چک کردم اثری ازش نبود؟
    2- من رفتم از پلاگین virual robots.txt استفاده کردم برای ویرایش فایل ربات اشکالی ندره ؟.

    • رضا راد۱۶ آبان ۱۴۰۲

      سلام مشکلی نیست دستی از هاست هم میتونید بسازید.

      • U366897۱۵ بهمن ۱۴۰۳

        سلام میخواستم بدونم که این فایل Robots.txt رو باید خودمون بسازیم یا داخل هاست هست این دستور هایی هم که نوشتید کجا وارد کنیم؟

  7. U331494۲۴ مهر ۱۴۰۲

    با سلام من همین مشکل رو دارم آیا خوبه یا با متن داخل سایت جایگزین کنم تشکر
    پاسخ گوگل fun hc jaodw oxh در زمان ثبت url
    URL is not available to Google
    This page cannot be indexed. Pages that aren’t indexed can’t be served on Google. See the details below to learn why it can’t be indexed
    متن داخل فایل robots.txt
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap:?????.ir/sitemap_index.xml

    • رضا راد۲۵ مهر ۱۴۰۲

      سلام مشکل از فایل ربات نیست شاید سایت شما در دسترس ربات های گوگل نیست

  8. U324778۱۸ خرداد ۱۴۰۲

    سلام وقت بخیر
    ممنون از مقاله خوبتون

    یک سوال داشتم
    الان گوگل داره فیلتر های سایت ایندکس میکنه مثلا کاربر رنگ مشکی انتحاب کرده و گوگل آدرس اونو نمایش میده

    اینو چطور میشه ار فایل robots بست که دیگه به گوگل اجازه ایندکس این صحات ندیم؟

    با سپاس

    • رضا راد۲۴ خرداد ۱۴۰۲

      سلام افزونه رنک مث نصب کنید خودکار اصلاحش میکنه

  9. U31527۳ اردیبهشت ۱۴۰۲

    سلام
    تو افزونه رنک مث فایل robots.txt ساخته شده ؛ با این وجود لازمه در روت سایت هم فایل robots.txt بسازیم؟
    من محتوای سایتم علی رغم اینکه بصورت دستی در سرچ کنسول ایندکس میکنم ولی تو نتایج جستجو نمیاد … به تعبیری درخواست ایندکس میدم ولی ظاهرا ایندکس نمیشه که بعد چند روز هنوز تو نتایج نشون نمیده … تو سیستم قبلی (Fetch as Google) یادمه کمتر از یکساعت بعد درخواست ایندکس میکرد پست جدیدم رو
    نمیدونم مشکل از کجاست
    راهنمایی لطفا ….

    • رضا راد۶ اردیبهشت ۱۴۰۲

      سلام خیر نیازی نیست. موارد زیادی هست توی سایت و یوتیوب در موردش توی یه ویدیو صحبت کردیم

  10. U315888۲۲ فروردین ۱۴۰۲

    سلام و وقت بخیر ممنونم از وب سایت بسیار خوبتون
    آیا این کد بهینه هست برای robots.txt:
    User-agent: *
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-admin/
    Disallow: /readme.html
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-content/uploads/
    Allow: /wp-content/plugins/*.css
    Allow: /wp-content/plugins/*.css?ver=*
    Allow: /wp-content/plugins/*.js
    Allow: /wp-content/plugins/*.js?ver=*
    Allow: /wp-content/plugins/*.png
    Allow: /?display=wide
    Sitemap:

    • رضا راد۶ اردیبهشت ۱۴۰۲

      سلام پیشنهاد میشه به جاش از کدی که توی مقاله هست استفاده کنید.

  11. U322179۲۶ اسفند ۱۴۰۱

    خوب سلتم من نتونستم باکس نظرات رو پیداکنم مجبورشدم رو سوال یک کاربر سوالم و بپرسم
    ممنون واسه وقتی که گذاشتین و دوره رایگان برامون تهیه کردین
    من دوره رایگان اموزش وردپرس رو دیدم
    ممنون عالی بود فقط کدهایی ک برای این ربات گذاشتین و منوجه نشدم کجا بزارم و چجوری این ربات و برای سئو فعال کنم
    برنامه نویسی هم‌بلد نیستم فقط دوره رایگان شمارو دیدم ممنون میشم واسه مبتدی هم توضیح بدین کل نظرات و خوندم ولی متوجه نشدم تو پاسخ ها

    • رضا راد۱ فروردین ۱۴۰۲

      سپاس. توی فایل robots.txt تو فایل منیجر هاست باید قرار بدید. اگر این فایل رو ندارید بسازیدش

  12. U316558۳۰ مهر ۱۴۰۱

    سلام.مهندس جان لطفا بفرمایید چی رو حذف کنم چی بمونه . اموزش رو دیدم ولی چون وارد نیستم میترسم دست بزنم. 5 ساله دست به فایل ربوت تکست نزدم . لطفا نگاه کنید هر چی لازمه بگید حذف یا اضافه کنم. سایت مپ نیست .الانم ترسیدم اضافه کنم. ممنون و تشکر

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /comments
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-content/uploads

    User-agent: Googlebot
    Disallow: /*/feed/$
    Disallow: /*/feed/rss/$
    Disallow: /*/trackback/$

    • رضا راد۱ آبان ۱۴۰۱

      سلام هیچ تغییری ایجاد نکنید الان فایل ربات شما بهینه هست. فقط سایت مپ رو اضافه کنید طبق آموزش به آخرین خط

  13. U34795۸ شهریور ۱۴۰۱

    سلام مجدد
    این مورد رو هم Allow: /wp-admin/admin-ajax.php دیدم در اکثر سایت ها در فایل ربات موجو هست، در سایت خود شما هم همینطور، این یعنی چی؟ داریم دسترسی کراول به چه فایل هایی رو میدیم؟ و اینکه این خط رو وارد می کنیم دیگه نیازی به Allow: /wp-content/uploads/ نیست؟ چون سایت خود شما و بقیه که این کد رو گذاشته بودن دیگه wp-content وجود نداشت؟

    • رضا راد۸ شهریور ۱۴۰۱

      سلام اگر توی سایتتون استفاده شده باید دسترسی رو بدین. آپلود رو خیر چون کلا بلاکش نکردیم

      • U34795۱۲ شهریور ۱۴۰۱

        سلام مجدد
        از کجا بفهمیم داریم از ajax استفاده میکنیم یا نه؟

        • رضا راد۱۳ شهریور ۱۴۰۱

          سلام تو کدهای صفحات سایت باید سرچ کنید

  14. U34795۸ شهریور ۱۴۰۱

    سلام
    ممنون از مقاله خوبتون، من از یوست سئو استفاده میکنم و در نقشه xml سایت علاوه بر دو آدرس sitedomain/post-sitemap.xml و sitedomain/page-sitemap.xml یک آدرس دیگه هم تحت عنوان sitedomain/e-landing-page-sitemap.xml داریم، آیا باید این رو هم در پوشه robot.txt قرار بدیم ؟؟؟ و اینکه اصلا چی هست این آدرس؟ به کدام صفحات سایت اشاره داره؟
    ممنون

    • رضا راد۸ شهریور ۱۴۰۱

      سلام خیر لزومی نداره شما سایت مپ اصلی رو قرار بدید. ظاهرا تنظیمات رنک مث درست انجام نشده آموزشش رو تو سایت ببینید.

  15. U310523۱۱ اردیبهشت ۱۴۰۱

    سلام آقای حسینی راد
    وقتتون بخیر
    من کدی که داخل این مطلب نوشتید (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) رو داخل functions.php سایتم گذاشتم که فید سایت کلا غیرفعال بشه. وچند روزی هم هست که از این کار میگذره.
    داخل سرچ کنسول بخش Coverage >Server error (5xx) به چنتا URL مشابه این site.com/test/feed/ گیر میده.

    حالا میخواستم بدونم که آیا باید از robots.txt فید رو ببندم؟
    اگر بله چه کدی داره که باید بذارم توی robots.txt؟

    • رضا راد۱۴ اردیبهشت ۱۴۰۱

      سلام وقتی فید رو باز میکنید بهتون چه خطایی میده؟

      • U310523۱۴ اردیبهشت ۱۴۰۱

        سلام همون فایل xml رو که توی کد های مقاله (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) نوشته بودید رو نشون میده.

        یعنی وقتی مینویسم site.com/feed این فایل xml نمایش داده میشه، که داخلش نوشته :
        error
        code>wp_die500</status
        /data
        /error

        • رضا راد۱۵ اردیبهشت ۱۴۰۱

          بهتره این مسیر رو کلا noindex کنید

  16. کاربر مهمان۱۰ اسفند ۱۳۹۹

    سلام وقت شما بخیر و خیلی ممنون از زحماتی که میکشین.
    سایت من وردپرسی نیست، میخواستم بدونم که این ساختار فایل ربات درست است و جای قراردادن نقشه سایت اشتباه نیست؟ یعنی تأثیر منفی نداره که در خط بعدی disallow آورده شده است؟

    • رضا راد۱۰ اسفند ۱۳۹۹

      درود بر شما این فایل برای وردپرس مناسب هست. باید ببینید ادرس نقشه سایت شما چیست و اون رو وارد کنید. خط های بالایی رو هم حذف کنید.

  17. U35432۶ بهمن ۱۳۹۹

    با سلام

    بنده یه مشکلی برای هاست دانلودم پیش اومده که تو سرچ گوگل ایندکس شده! با اینکه دسترسی به فولدرها رو بسته بودیم! معمولا فایل های ورد و pdf ایندکس شده اند!

    برای عدم ایندکس شدنشون فایل robots.txt رو ساختیم و کد زیر رو داخلش گداشتیم:
    User-agent: *
    Disallow:*
    آیا همینکار کافیه؟ و اینکه معمولا چندروز طول میکشه که نتایج از سرچ گوگل حذف بشن؟

    • رضا راد۷ بهمن ۱۳۹۹

      درود بر شما بله این کار کافیه. حدودا ۲ هفته تا یک ماه طول خواهد کشید.

  18. U5807۶ تیر ۱۳۹۹

    با سلام و عرض ادب
    چگونه می توانیم noindex tag را در صفحات آرشیو دسته بندی و برچسب های سایتم غیر از صفحه‌ی اول قرار دهم؟ قبلا این امکان در یواست سئو بود ولی چند سالی است که حذف شده است؟
    ممنون می شوم راهنمایی کامل بفرمایید.

    • تیم پشتیبانیتیم پشتیبانی۸ تیر ۱۳۹۹

      سلام
      توی نسخه جدید یواست این مورد به صورت خودکار اتفاق میفته

      • U5807۸ تیر ۱۳۹۹

        من این افزونه را سایت شما تهیه کردم ولی چنین اتفاقی نمی افته و تمام صفحات دسته بندی ها و برچسب ها متاسفانه در گوگل ایندکس می شود!!!
        شما فرمودید که خودکار فعال می شود ولی چنین نیست فقط یک گزینه در منو طبقه بندی ها در بخش دسته است که نوشته نمایش دسته‌ها در نتایج جستجو که الان فعال است ولی اگر غیرفعال کنم کل صفحات دسته ها حتی صفحه ی اول دسته بندی را نوایندکس می کند در حالی که من می خوام صفحه اول و اصلی ایندکس باشد باید چکار کنم که صفحات دسته بندی و برچسب را بجز صفحه اول نوایندکس شود؟
        با تشکر

        • تیم پشتیبانیتیم پشتیبانی۸ تیر ۱۳۹۹

          لطفا افزونه رو به آخرین نسخه آپدیت کنید و در صورت برطرف نشدن مشکلتون با بخش پشتیبانی سایت در ارتباط باشید

  19. U16380۵ مرداد ۱۳۹۸

    سلام
    من از افزونه Yoast SEO Premium استفاده میکنم و کد زیر برای فایل robots.txt می خوام قرار بدم این کد زیر مناسب هست مشکلی نداره؟
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Sitemap: https://site.com/sitemap_index.xml

    • تیم پشتیبانیتیم پشتیبانی۵ مرداد ۱۳۹۸

      سلام خیر زیادی پیچیده کردید. آموزش ساخت فایل ربات را توی سایت ببینید.

  20. U16380۳ مرداد ۱۳۹۸

    سلام
    وقت بخیر
    1: من از افزونه Yoast SEO Premium استفاده میکنم و فایل robots.txt خودش ساخته شده ولی در پوشه public_html هاستم بررسی کردم نبود باید متن های این فایل از کجا تغییر بدم؟
    2: من کد زیر برای درج در فایل robots.txt ساختم حالا یه بررسی خوبه پیشنهادی دارید؟
    sitemap: https://mysite.com/sitemap_index.xml
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /archives/
    Disallow: /*?*
    Disallow: *?replytocom
    Disallow: /wp-*
    Disallow: /author
    Disallow: /comments/feed/
    User-agent: Mediapartners-Google*
    Allow: /
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: Adsbot-Google
    Allow: /

    User-agent: Googlebot-Mobile
    Allow: /

    • تیم پشتیبانیتیم پشتیبانی۳ مرداد ۱۳۹۸

      سلام فایل ربات زیادی طولانی هست. آموزش ساخت ربات رو توی سایت ببینید کد صحیحش رو گذاشتیم.

  21. کاربر مهمان۱۲ اسفند ۱۳۹۷

    سلام یه فایل روبوت ساختم لطف کنید چک کنید درست هستش یا نه اگه بخشی باید اضافه یا کم بشه بفرمایید اصلاح کنم
    سپاس فراوان

    User-agent:*
    Disallow: /wp-admin/
    Allow: /wp-admin/js
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-admin/css
    Allow: /wp-content/themes/woodmart/css
    Allow: /wp-content/themes/woodmart/js
    Disallow: /cgi-bin/
    Disallow: /readme.html/
    Disallow: /wp-content/cache
    Allow: /*?$
    Disallow: /*?
    Disallow: /book*/ //bookstart//
    User-agent:
    Disallow: baidu

    User-agant: Googlebot-image
    Allow: /*.gif$
    Allow: /*.png$
    Allow: /*.ico$
    Allow: /*.jpeg$
    Allow: /*.tiff$
    Allow: /*.psd$
    Allow: /*.bmp$
    Allow: /*dng$
    Allow: /*.raw$

    • رضا راد۱۲ اسفند ۱۳۹۷

      درود زیادی شلوغ شده توی سایت ما سرچ کنید ساخت فایل ربات آموزشش هست یه فایل ساده باید بسازید.

  22. کاربر مهمان۱۲ مهر ۱۳۹۷

    با اینکه فایل index.php تو پوشه تم انفولد هستش ولی یک سری از آدرس ها هم مربوط به تم انفولد هست و aviaframework

    • رضا راد۱۲ مهر ۱۳۹۷

      اگر فایل وجود داره چند روز صبر کنید سپس چک کنید

  23. کاربر مهمان۱۲ مهر ۱۳۹۷

    آگه از طریق سی پنل دایرکتوری upload را به حالت noindex تغییر بدیم مشکلی برای سایت پیش نمیاد؟
    چون زیرمجموعه public html و wpcontent هست میترسم مشکل ایندکس پبدا کنه.

    • رضا راد۱۲ مهر ۱۳۹۷

      نباید اینکار رو انجام بدید.

  24. کاربر مهمان۱۲ مهر ۱۳۹۷

    بعد توی این فایل باید کد خاصی بنویسیم آقای حسینی؟ چون نمی دونم باید چی باشه تو این فایل.

    • رضا راد۱۲ مهر ۱۳۹۷

      خیر فقط بسازید و طبق مراحل بالا داخلش متن ها رو وارد کنید

  25. کاربر مهمان۱۱ مهر ۱۳۹۷

    سلام. من وقتی سایت رو تو گوگل جستجو می کنم یک سری از آدرس های مربوط به دایرکتوری آپلود میاد بالا که البته از تو سرچ کنسول آن ها را به درخواست حذف (removal url) اضافه کردم.
    می خواستم بدونم دلیل نمایش دایرکتوری آپلود تو نتایج جستجو چیه؟ میشه کل دایرکتوری آپلود رو حذف کنیم؟

    حدود 4 url به صورت زیر تو گوگل می بینم :
    Index of /wp-content/uploads/2018/
    https://example.com/wp-content/uploads/2018/?MD

    • رضا راد۱۱ مهر ۱۳۹۷

      سلام شما باید یه فایل index.php توی پوشه های آپلود بسازید تا جلوگیری کنه از ایندکس شدن اونها

      • U6092۹ فروردین ۱۴۰۰

        سلام جناب مهندس
        بنده هم دقیقا همین مشکل را دارم. جسارتا متوجه نشدم چه کاری باید بکنم
        1.منظور از index.php همان
        <?php
        // Silence is golden.
        هست آیا؟
        2. این فایل index.php را یکبار داخل فولدر wp-content/uploads بگذارم یا داخل تک تک پوشه های درون فولدر wp-content/uploads
        سپاسگزارم

        • رضا راد۱۱ فروردین ۱۴۰۰

          درود بر شما فرقی نداره حتی می‌تونه فایل خالی باشه. در تمام پوشه‌ها قرار بدید.

  26. کاربر مهمان۱۸ مرداد ۱۳۹۷

    سلام با نصب نسخه ای دیگه از قالب ( هردو نسخه اورجینال تهیه شدند از مارکت های معتبر داخلی ) باز همین مشکل وجود داره .
    البته الان توی گوگل انتهای لینک هایی که noindex شدند کلمه feed درج شده.
    نمونه : http://www.doman.com/blog/category/%D5%8%D7%22F/feed/
    http://www.domain.com/blog/12-%D9%85%D9%88%D8%B1%D8%AF/feed/

    نوایندکس بودن این ها مشکلی ایجاد میکنه یا خیر ؟ تاثیر منفی توی سئو و بازدید میزاره ؟

    • رضا راد۱۹ مرداد ۱۳۹۷

      بله صد البته. توی سئو تاثیر داره و نمایش داده نخواهید شد توی نتایج گوگل. از هر سایتی تهیه می کنید حتما تصویر از لایسنس بخواید

  27. کاربر مهمان۱۷ مرداد ۱۳۹۷

    سلام اقای حسنی روز بخیر
    من حدود 15 روز پیش از یک شرکتی قالب جنه را تهیه کردم و ازش روی وبلاگ سایتمون استفاده کردیم.
    با گذشت حدود 15 روز دیروز به صورت ناگهانی توی وبمستر حدود 1000 عدد ایندکسمون حذف شدن. بعد بررسی متوجه شدم همه ایندکس های حذف شده مربوط به tag ها بودن .
    بررسی کردم و دیدم توی وبمستر جدید در بخش Status > Index coverage حدود 990 تا Excluded by ‘noindex’ tag ثبت شده.

    و توی URL Inspection لینک های حذف شده این موارد را دارند.
    Crawl
    Last crawl
    Jul 30, 2018, 4:56:22 AM
    Crawl allowed?
    Yes
    Page fetch
    Successful
    Indexing
    Indexing allowed?
    No: ‘noindex’ detected in ‘X-Robots-Tag’ http header
    User-declared canonical
    N/A
    Google-selected canonical
    N/A

    شما اطلاع دارید که از کدوم بخش قالب قسمت تگ ها نواندکس شدند ؟ (افزونه یوست سئو رو تست کردم و از سمت افزونه مشکل نبود )
    نوایندکس بودن این لینک ها مشکل ساز میشه برامون یا خیر ؟ و اینکه چجوری اینو حل کنیم؟؟

    توی فایل robots.txt هم از نوایندکس استفاده نکردیم اصلا.

    ممنون میشم راهنمایی کنید.

    • رضا راد۱۷ مرداد ۱۳۹۷

      سلام
      ظاهرا noindex بودن ادرس ها و دستکاری شده توی کدنویسی قالب (نال شده) . نسخه اصلی قالب رو خریداری کنید و نصب کنید مشکل حل خواهد شد.

  28. U12124۷ تیر ۱۳۹۷

    سلام خسته نباشید
    ایا نقشه سایت باید با http وارد بشه یا https

    • تیم پشتیبانیتیم پشتیبانی۹ تیر ۱۳۹۷

      سلام
      اگر سایتتان https دارد با https ثبت کنید.

  29. کاربر مهمان۱ تیر ۱۳۹۷

    سلام
    بخش Allow: /wp-content/uploads/ چه کاری می کنه؟ آیا با اضافه کردن این بخش میشه باعث شد وقتی فایلی یا عکسی آپلود می کنیم جداگانه صفحه ای ساخته و ایندکس نشه؟

    من از yoast استفاده می کنم و برای page/post/category نقشه های جداگانه گذاشتم مشکلی پیش نمی یاد یا بهتره به این شکل باشه
    Sitemap: https://example.com/sitemap_index.xml

    ممنون

    • رضا راد۲ تیر ۱۳۹۷

      سلام
      ۱. این بخش میگه تصاویر سایت رو ایندکس کن
      ۲. خیر مشکلی پیش نمیاد

  30. U12124۲۳ خرداد ۱۳۹۷

    سلام ممنون بابت راهنمای من فایل Robots.txt رو داخل public html قرار دادم و این کد هارو بهش اضافه کردم
    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html

    ولی افزونه Yoast به طور اتوماتیک نقشه سایت رو اضافه نکرد

    حالا کد بالا که قرا دادین رو که بصورت دستی اضافه کنیم مثل همین متن درست میشه مشکلی نداره

    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-content/plugins/
    Disallow: /readme.html
    Sitemap: https://capitankala.com/post-sitemap.xml
    Sitemap: https://capitankala.com/page-sitemap.xml

    ممنون میشم راهنمایی کنید.

    • تیم پشتیبانیتیم پشتیبانی۲۴ خرداد ۱۳۹۷

      سلام
      نقشه سایت توسط yoast خودکار ایجاد میشود به این آدرس : sitemap_index.xml
      طبق همین آموزش پیش بروید.

  31. U12124۱۷ خرداد ۱۳۹۷

    سلام خسته نباشید

    1 من در پوشه روت سایتم داخل این پوشه wp-snapshots فایل robots.txt رو دارم ایا باید اینو تغییر بدم

    2 یا باید به صورت جداگانه robots.txt رو بسازم و در مسیر خاصی قرار بدم

    3 اگر گزینه 1 هستش داخل این فایل این کد وجود داره

    User-agent: *
    Disallow: /wp-snapshots/

    باید کدهای رو که گفتین رو زیر همین کدها قرار بدم یا باید کامل جایگزین شن

    ممنون میشم راهنمایی کنید با تشکر

    • تیم پشتیبانیتیم پشتیبانی۱۷ خرداد ۱۳۹۷

      سلام
      فایل robots.txt را در public html بسازید. نیاز به کار خاص دیگری نیست. آموزش زیر را هم ببینید :
      https://mihanwp.com/robots/

  32. کاربر مهمان۱۶ فروردین ۱۳۹۷

    با عرض سلام وخسته نباشید به تیم میهن وردپرس و ممنون از آموزش هایی که میزارین
    من یه سوال داشتم
    نقشه سایت رو به کدوم حالت باید در روباط قرار بدیم

    Sitemap: http://www.example.com/post-sitemap.xml
    Sitemap: http://www.example.com/page-sitemap.xml

    یا

    Sitemap: http://www.example.com/sitemap.xml

    کدوم حالت بهتره ؟؟؟

    • تیم پشتیبانیتیم پشتیبانی۱۶ فروردین ۱۳۹۷

      سلام
      آخرین مورد.
      البته اگر از yoast استفاده می کنید ادرس نقشه سایت این میشود :
      sitemap_index.xml

  33. کاربر مهمان۱۲ اسفند ۱۳۹۶

    سلام
    شما در کد دمی که نام بردید Disallow رو به سایت مپ دادید و دسترسی ها رو بستید

    گوگل در وب مستر تولز پیام خطا به این امر داده است

    لطفا درست مقاله را منتشر کنید
    با تشکر

    • رضا راد۱۲ اسفند ۱۳۹۶

      سلام درست می‌فرمایید منظور در کد آخر جای گیری کد سایت مپ بود نه اینکه کد رو توی سایت قرار بدید.

  34. U10748۱ اسفند ۱۳۹۶

    سلام ببخشید من روی دوتا سایت تست کردم الان روشون یوست نصبه ولی هر دو دوخط اخر کد داخلشون نبود و فقط این بود
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    لازمه اون دو خط اخر رو اضافه کنم ؟

    • رضا راد۲ اسفند ۱۳۹۶

      درود بله اضافه کنید

  35. کاربر مهمان۲۱ اسفند ۱۳۹۵

    سلام – این مطلب خیلی ارزشمندی بود من لذت بردم  و اینکه  سایتتون هم عالیه خدا قوت    <a href=”http://www.battery-etminan.ir/”>.</a><a href=”http://ebattery.mihanblog.com/”>.</a><a href=”http://ebattery.blog.ir/”>.</a>

  36. U3937۲۸ آذر ۱۳۹۵

    سلاممن مدتی از طریق فایل robots دسترسی به wp-content مسدود بود ، الان 1هفتس که به همه چیز دسترسی دادم و فقط wp-admin رو بستمکلا از 1800تا عکس من 40تا ایندکس شده اونم قبل از بستن عکسا الان بعد یک هفته حتی تو گوگل ایمیج سرچ میکنم سایتمو هم همین 40تا بیشتر نمیشه و ایندکس نمیشهتو قسمت Fetch as Google بصورت دستی مطلب تازه منتشر شده رو fetch and render رو زدم که عکس نشون میده رباط نمیتونه یکسری عکسها رو ببینهstatus رو زده partial و داخل اون هم همه عکسها و حتی یکسری اسکریپتها و استایهها رو دلیل (reason) زده Temporarily unreachable !!مشکل چی میتونه باشه ؟؟؟1- فایل روباط?!User-agent: *Disallow:Disallow: /wp-admin/Sitemap: …2-  افزونه امنیتی دارم wordfence اما تو تنظیمات زده از رباط جلوگیری نشه و حتی تو لایو ویوش نشوون میده رباط ها میان و بلاک نمیشن!3- تنظیماتی تو فایل .htaccess میتونه تاثیر بذاره؟4- مرجعی سایتی چیزی تو خود همین وبمستر هست چک کنه بگه ؟5- از هاست چی؟6- یا فقط نیاز به زمان هست درست بشه؟!

  37. کاربر مهمان۲۳ تیر ۱۳۹۵

    با سلام و خسته نباشیدمی تونم بپرسم شما از چه افزونه ای برای ستاره دار کردن مطالبتون در گوگل استفاده می کنید

    • رضا راد۲۳ تیر ۱۳۹۵

      سلام افزونه نیست. کد های قالب سایتمون هست

  38. کاربر مهمان۱۰ دی ۱۳۹۴

    سلام
    این فایلو درکجای هاست باید قرار دهیم درکدوم قسمت؟
    ومیخام عکسو دروردپرس واسه اسلایدر بزارم چون عکسه کوچیکه کوچک دیده میشه تواسلایدر چجوری یه کاری کنم که تواسلایدر کامل دیده بشه

    • رضا راد۱۰ دی ۱۳۹۴

      سلام
      فایل رو در پوشه اصلی سایتتون قرار بدید.
      در مورد عکس باید به عکس کلاس width:100% بدید تا تمام عرض نشون داده بشه

پشتیبانپشتیبانپشتیبانپشتیبانپشتیبان
تیم میهن وردپرس
پشتیبانپشتیبانپشتیبانپشتیبانپشتیبان
تیم میهن وردپرسآنلاین و پاسخگوی شما هستیم.آنلاین

در حال بارگذاری...

هر سوالی دارید بپرسید.پاسخگوی شما هستیم.