فایل robots.txt چیست؟ بهینهسازی فایل ربات در وردپرس
- آموزش سئو وردپرسمقالات آموزشی
- بروزرسانی شده در

فایل robots.txt به رباتهای موتورهای جستجو میگه سراغ کدوم مسیرهای سایتتون برن و کدوم مسیرها رو نخزن. این فایل بهتنهایی رتبه سایت رو بالا نمیبره و راهی برای مخفیکردن اطلاعات خصوصی هم نیست؛ ولی اگه درست تنظیمش کنید، رباتها وقتشون رو برای صفحهها و فایلهای مهمتر سایت صرف میکنن.
در این راهنما اول تفاوت خزش و ایندکس رو خیلی ساده بررسی میکنیم. بعد میبینید وردپرس چطور فایل robots.txt مجازی میسازه، هر دستور چه معنیای داره و چه تنظیمی برای بیشتر سایتها امنتره. در ادامه هم روش ویرایش فایل، معرفی نقشه سایت، جلوگیری درست از ایندکس و آزمایش تغییرات در Google Search Console رو قدمبهقدم یاد میگیرید.
آنچه در این مقاله میخوانید
فایل robots.txt چیست و چه کاری انجام میده؟
robots.txt یک فایل متنی ساده در ریشه سایت هست. خزنده یا Crawler، یعنی رباتی که لینکها و صفحههای وب رو بررسی میکنه، معمولاً قبل از خزش سایت این فایل رو میخونه. شما داخل فایل مشخص میکنید هر خزنده اجازه خزش چه مسیرهایی رو داره.
مثلاً میتونید به همه رباتها بگید وارد یک پوشه غیرضروری نشن، ولی همچنان به فایل مهمی داخل همون پوشه دسترسی داشته باشن. این قانونها برای مدیریت خزش هستن و رفتار همه رباتهای اینترنت رو تضمین نمیکنن.
تفاوت خزش و ایندکس به زبان ساده
خزش یعنی ربات موتور جستجو یک آدرس رو باز و محتوای اون رو بررسی کنه. ایندکس یعنی موتور جستجو اطلاعات اون صفحه رو پردازش و در فهرست خودش ذخیره کنه تا شاید بعداً در نتایج جستجو نشونش بده. اگه دوست دارید این مسیر رو دقیقتر بشناسید، راهنمای نحوه کار گوگل از خزش تا رتبهبندی رو بخونید.
فایل robots.txt بیشتر روی مرحله خزش اثر میذاره. وقتی مسیری رو با Disallow میبندید، از یک خزنده سازگار میخواید اون مسیر رو نخزه. این کار لزوماً به معنی حذف آدرس از فهرست گوگل نیست.
فایل robots.txt چه کاری انجام نمیده؟
- تضمین نمیکنه یک صفحه از نتایج گوگل حذف بشه.
- محتوای خصوصی رو امن یا مخفی نمیکنه.
- جلوی رباتهای مخربی رو که قانونها رو رعایت نمیکنن نمیگیره.
- بهتنهایی باعث افزایش رتبه، ترافیک یا فروش نمیشه.
- جای دستور noindex، رمز عبور، ورود کاربری یا تنظیمات امنیتی سرور رو نمیگیره.
آیا سایت وردپرسی شما به فایل robots.txt نیاز داره؟
نبودن یک فایل robots.txt اختصاصی جلوی خزش یا ایندکس سایتتون رو نمیگیره. اگه هیچ محدودیتی تعریف نکرده باشید، رباتهای موتورهای جستجو معمولاً میتونن صفحههای عمومی سایت رو بررسی کنن. خیلی از سایتهای کوچک هم به قانونهای پیچیده نیاز ندارن.

فایل robots.txt مجازی وردپرس چطور کار میکنه؟
وردپرس میتونه بدون ساختن یک فایل فیزیکی، پاسخ آدرس /robots.txt رو بهصورت مجازی تولید کنه. وقتی این آدرس رو باز میکنید، وبسرور درخواست رو به وردپرس میرسونه و وردپرس متن مناسب رو برمیگردونه.
پس اگه داخل File Manager هاست فایلی به نام robots.txt پیدا نکردید، ولی آدرس اون در مرورگر باز شد، احتمالاً نسخه مجازی وردپرس رو میبینید. این رفتار عادیه و لازم نیست فقط برای داشتن یک فایل قابلمشاهده، نسخه فیزیکی بسازید.
چه زمانی بهتره فایل robots.txt اختصاصی بسازید؟
وقتی میخواید قانون مشخصی برای یک خزنده تعریف کنید، یک مسیر غیرضروری رو از خزش خارج کنید یا آدرس نقشه سایت متفاوتی بذارید، فایل اختصاصی به کارتون میاد. سایتهای بزرگ، فروشگاهها و سایتهایی که آدرسهای فیلترشده زیادی تولید میکنن بیشتر از مدیریت دقیق خزش سود میبرن.
قبل از ساخت فایل، باید بدونید هر مسیر چه محتوایی داره و مسدودشدن اون چه اثری میذاره. اگه مطمئن نیستید، تنظیم ساده وردپرس معمولاً از یک فایل شلوغ با دهها قانون نامطمئن بهتره.
چطور فایل robots.txt سایتتون رو ببینید؟
پیدا کردن فایل با آدرس مستقیم
دامنه سایتتون رو در مرورگر باز کنید و /robots.txt رو بعد از اون بذارید. برای نمونه، آدرس فایل یک سایت با دامنه example.com این شکلیه:
https://example.com/robots.txtفایل باید روی دامنه و پروتکل درست سایت قرار بگیره. قانونهای https://example.com/robots.txt لزوماً برای زیردامنهای مثل shop.example.com کاربرد ندارن و اون زیردامنه به فایل خودش نیاز داره.
بررسی در دسترس بودن فایل برای رباتها
آدرس فایل رو در یک پنجره ناشناس مرورگر باز کنید. اگه برای دیدنش مجبور به ورود، حل کپچا یا عبور از صفحه امنیتی شدید، ممکنه رباتها هم نتونن فایل رو دریافت کنن. خطاهای سرور و ریدایرکتهای زنجیرهای هم باید بررسی بشن.
متن فایل باید ساده و خوانا باشه. نمایش صفحه ورود وردپرس، کد HTML قالب یا یک صفحه خطای هاست در این آدرس نشون میده پاسخ درست دریافت نمیشه.
دستورهای فایل robots.txt چطور کار میکنن؟
هر گروه از قانونها معمولاً با User-agent شروع میشه و بعد از اون دستورهای Allow یا Disallow میان. دستورها رو در خطهای جدا بنویسید و بین نام دستور و مقدار اون از دونقطه استفاده کنید.
دستور User-agent برای انتخاب خزنده
User-agent مشخص میکنه قانونهای بعدی برای کدوم خزنده هستن. علامت ستاره یعنی گروه قانونها برای همه خزندههایی نوشته شده که فایل robots.txt رو رعایت میکنن:
User-agent: *اگه قانون ویژهای برای Googlebot داشته باشید، نام اون رو جدا مینویسید. ولی برای بیشتر سایتهای معمولی، تعریف یک گروه عمومی سادهتر و کمخطاتر هست.
دستور Disallow برای بستن مسیر خزش
Disallow از خزنده انتخابشده میخواد مسیر مشخصی رو نخزه. این نمونه دسترسی به مسیر /private-area/ رو میبنده:
User-agent: *
Disallow: /private-area/اگه بعد از Disallow چیزی ننویسید، مسیری بسته نمیشه. اما نوشتن فقط یک اسلش، یعنی Disallow: /، خزش کل سایت رو برای اون گروه میبنده. پس این دو حالت رو با هم اشتباه نگیرید.
دستور Allow برای باز گذاشتن یک مسیر مشخص
Allow وقتی مفیده که یک مسیر کلی رو بستهاید، ولی میخواید فایل یا زیرمسیر مشخصی داخل اون قابلخزش بمونه. نمونه زیر یک پوشه رو میبنده و دسترسی به یک فایل خاص رو باز میذاره:
User-agent: *Disallow: /example-folder/Allow: /example-folder/needed-file.cssخزندههای اصلی مثل Googlebot از Allow پشتیبانی میکنن، ولی نباید فرض کنید همه رباتها این دستور رو دقیقاً به یک شکل اجرا میکنن. این نوع استثناها رو فقط وقتی اضافه کنید که ساختار مسیرها رو دقیق میشناسید.
دستور Sitemap برای معرفی نقشه سایت
Sitemap آدرس کامل نقشه سایت XML رو به خزندهها معرفی میکنه. نقشه سایت XML فایلیه که آدرس صفحههای مهم سایت رو فهرست میکنه. این دستور باید آدرس کامل و ترجیحاً HTTPS داشته باشه:
Sitemap: https://example.com/wp-sitemap.xmlاضافهکردن این خط مفیده، ولی تنها راه معرفی نقشه سایت نیست. میتونید نقشه رو مستقیماً در Google Search Console هم ثبت کنید.
قانونهای مهم نوشتن مسیرها و استفاده از علامتها
- هر دستور رو در یک خط جدا بنویسید.
- مسیرها به حروف بزرگ و کوچک حساس هستن؛
/Folder/با/folder/یکی نیست. - خزندههای اصلی مثل Googlebot میتونن علامت
*رو بهجای بخشی از متن مسیر در نظر بگیرن. - خزندههای اصلی مثل Googlebot میتونن از علامت
$برای مشخصکردن انتهای آدرس استفاده کنن. - برای توضیحی که ربات نباید اجراش کنه، اول خط علامت
#بذارید. - آدرس Sitemap رو کامل بنویسید، ولی مقدار Allow و Disallow معمولاً با اسلش و مسیر شروع میشه.
همه خزندهها الزاماً از Allow، ستاره و علامت پایان به یک شکل پشتیبانی نمیکنن. وقتی چند قانون با هم تطبیق دارن، نتیجه هم میتونه به طول و جزئیات مسیر وابسته باشه. برای همین بعد از نوشتن این الگوها، حتماً آدرسهای واقعی رو آزمایش کنید.
بهترین تنظیم robots.txt برای وردپرس چیست؟
یک تنظیم واحد برای همه سایتها نداریم. بهترین فایل، سادهترین فایلیه که نیاز واقعی سایتتون رو پوشش میده و دسترسی رباتها به صفحهها و منابع مهم رو خراب نمیکنه.
یک نمونه امن و ساده برای بیشتر سایتهای وردپرسی
برای خیلی از سایتهای وردپرسی، نمونه زیر میتونه یک نقطه شروع رایج باشه؛ ولی تنظیم قطعی برای همه سایتها نیست. مسیر مدیریت وردپرس بسته میشه، ولی فایل admin-ajax.php که بعضی قابلیتهای سایت به اون نیاز دارن باز میمونه:
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://example.com/wp-sitemap.xmlدامنه example.com رو با دامنه خودتون عوض کنید. اگه افزونه سئو نقشه سایت متفاوتی میسازه، آدرس Sitemap رو هم با آدرس واقعی همون نقشه جایگزین کنید. قبل از ذخیره هم مطمئن بشید مسیر ورود یا مدیریت سایتتون تغییر نکرده و افزونهای به دسترسی متفاوتی نیاز نداره.
چه مسیرهایی رو نباید بدون بررسی مسدود کنید؟
پوشههای /wp-content/، /wp-content/plugins/ و /wp-content/themes/ رو کورکورانه نبندید. این مسیرها ممکنه فایلهای CSS، JavaScript، فونت یا تصویر لازم برای نمایش صفحه رو داشته باشن.
صفحه نوشتهها، محصولات، دستهبندیهای مهم و برگههای فرود هم نباید فقط به خاطر کماهمیت بهنظررسیدن مسدود بشن. اول نقش هر مسیر در سایت و ورودیهای جستجوی اون رو بررسی کنید.
چرا فایلهای CSS، JavaScript و تصاویر باید در دسترس باشن؟
گوگل برای درک بهتر صفحه، اون رو همراه با بسیاری از فایلهای ظاهری و اجرایی پردازش میکنه. اگه CSS یا JavaScript مهمی رو ببندید، ممکنه گوگل صفحه رو ناقص ببینه یا نتونه بعضی محتوای اون رو درست تشخیص بده.
تصاویر مهم هم بخشی از محتوای صفحه هستن و میتونن در جستجوی تصویر دیده بشن. برای جزئیات بیشتر، راهنمای سئو تصاویر در وردپرس و آموزش رفع خطای دسترسی Googlebot به فایلهای CSS و JavaScript رو ببینید.
تنظیم robots.txt برای فروشگاه ووکامرسی
فروشگاههای ووکامرسی ممکنه آدرسهای زیادی برای فیلتر، مرتبسازی، جستجو، سبد خرید و حساب کاربری تولید کنن. ولی نباید فهرستی عمومی از مسیرها رو بدون بررسی روی هر فروشگاهی کپی کنید؛ چون ساختار پیوندها، افزونهها و نیاز هر فروشگاه فرق داره.
اول در گزارش Page indexing و ابزار URL Inspection در Google Search Console بررسی کنید کدوم آدرسهای فیلترشده پیدا یا مسدود شدن. برای دیدن جزئیات فنی خزش هم میتونید گزارش Crawl stats رو بررسی کنید، ولی این گزارش فهرست کامل همه آدرسهای خزیدهشده رو نشون نمیده. بعد مطمئن بشید بستن یک الگو، محصول یا دستهبندی مهمی رو از دسترس خارج نمیکنه. برای صفحههایی مثل سبد خرید و حساب کاربری، تنظیمات noindex افزونه سئو معمولاً از تکیهکردن صرف به robots.txt مناسبتره.
چطور فایل robots.txt رو در وردپرس بسازید یا ویرایش کنید؟
قبل از تغییر، متن فعلی فایل رو در یک جای امن کپی کنید. بعد فقط قانونهایی رو اضافه کنید که دلیل مشخصی برای اونها دارید. یک علامت اشتباه میتونه دسترسی رباتها به بخش بزرگی از سایت رو ببنده.
ویرایش فایل با افزونه Yoast SEO
Yoast SEO یک افزونه سئو برای وردپرسه. در بعضی نسخهها و نصبها، ابزار ویرایش فایل از بخش ابزارهای افزونه در دسترسه. وارد پیشخوان وردپرس بشید، منوی Yoast SEO رو باز کنید و دنبال بخش Tools یا File editor بگردید.
اگه این گزینه رو نمیبینید، به این معنی نیست که سایتتون robots.txt نداره. نسخه افزونه، نوع نصب، وجود فایل واقعی و دسترسی نوشتن روی فایلها میتونه روی نمایش این ابزار اثر بذاره. در این حالت میتونید فایل واقعی رو از پنل هاست بسازید یا ویرایش کنید.
ساخت فایل واقعی از طریق هاست
- وارد پنل مدیریت هاست بشید و File Manager رو باز کنید.
- به پوشه ریشه دامنه برید؛ این پوشه معمولاً
public_htmlیا پوشه اختصاصی دامنه هست. - بررسی کنید فایل
robots.txtاز قبل ساخته نشده باشه. - اگه فایل ندارید، یک فایل متنی دقیقاً با نام
robots.txtبسازید. - قانونهای موردنیاز رو وارد و فایل رو ذخیره کنید.
- آدرس
https://example.com/robots.txtرو در مرورگر باز کنید و نتیجه رو ببینید.

نام فایل باید با حروف کوچک و بدون فاصله باشه. فایل رو در ریشه همون دامنهای بذارید که میخواید قانونها روی اون اجرا بشن.
تفاوت فایل واقعی با robots.txt مجازی وردپرس
نسخه مجازی رو خود وردپرس هنگام دریافت درخواست تولید میکنه و معمولاً فایل مستقلی در هاست نداره. فایل واقعی روی فضای هاست ذخیره میشه و وبسرور اون رو مستقیماً تحویل میده.
وقتی فایل واقعی در ریشه سایت بسازید، معمولاً همون فایل جای پاسخ مجازی وردپرس رو میگیره. پس بعد از ساخت فایل واقعی، تغییرهایی که افزونه یا قالب روی خروجی مجازی اعمال میکنه شاید دیگه دیده نشن.
چطور نقشه سایت وردپرس رو به robots.txt اضافه کنید؟
اول آدرس واقعی نقشه سایت رو در مرورگر باز کنید. اگه فهرست آدرسها یا فهرست چند نقشه فرعی رو دیدید، میتونید آدرس کامل اون رو با دستور Sitemap داخل robots.txt بذارید.
نقشه سایت پیشفرض وردپرس در wp-sitemap.xml
وردپرس نقشه سایت پیشفرض رو معمولاً در مسیر زیر ارائه میکنه:
https://example.com/wp-sitemap.xmlبرای معرفی اون در فایل robots.txt این خط رو اضافه کنید و دامنه نمونه رو با دامنه خودتون عوض کنید:
Sitemap: https://example.com/wp-sitemap.xmlنقشه سایت Yoast SEO در sitemap_index.xml
وقتی قابلیت نقشه سایت Yoast SEO فعال باشه، آدرس فهرست نقشهها معمولاً این شکلیه:
https://example.com/sitemap_index.xmlدر این حالت همین فهرست اصلی رو معرفی کنید و لازم نیست نقشه نوشتهها، برگهها و دستهبندیها رو یکییکی داخل robots.txt بذارید:
Sitemap: https://example.com/sitemap_index.xmlثبت نقشه سایت در Google Search Console
- وارد ویژگی درست سایت در Google Search Console بشید.
- از منوی کناری بخش Sitemaps رو باز کنید.
- مسیر نقشه، مثل
wp-sitemap.xmlیاsitemap_index.xml، رو وارد کنید. - روی Submit بزنید و وضعیت ثبت رو بررسی کنید.
ثبت نقشه سایت به گوگل کمک میکنه آدرسهای مهم رو پیدا کنه، ولی تضمین نمیکنه همه اونها ایندکس بشن. برای آشنایی با گزارشها و ابزارهای این سرویس، آموزش Google Search Console رو ببینید.
چطور جلوی ایندکس شدن یک صفحه رو بگیرید؟
اگه هدفتون اینه که یک صفحه در نتایج جستجو دیده نشه، robots.txt ابزار اصلی این کار نیست. روش درست به عمومی یا خصوصیبودن محتوا بستگی داره.
چرا Disallow جای noindex رو نمیگیره؟
Disallow خزش صفحه رو محدود میکنه، ولی ممکنه گوگل آدرس اون رو از لینکهای سایتهای دیگه پیدا کنه و بدون توضیحات در نتایج نشون بده. از طرف دیگه، اگه خزش صفحه بسته باشه، ربات نمیتونه دستور noindex داخل صفحه رو ببینه.
پس صفحهای رو که باید noindex اون خونده بشه، همزمان در robots.txt نبندید. اول اجازه بدید ربات صفحه رو بخزه و دستور noindex رو پردازش کنه.
استفاده از noindex برای صفحههای عمومی
noindex دستوریه که به موتور جستجو میگه صفحه رو در نتایج نگه نداره. برای صفحهای که عموم کاربران میتونن بازش کنن ولی نباید در نتایج جستجو دیده بشه، معمولاً میتونید تنظیم نمایش در موتورهای جستجو رو از افزونه سئو روی noindex بذارید.
بعد از اعمال تنظیم، صفحه باید برای ربات قابلخزش بمونه تا دستور رو ببینه. حذف صفحه از نتایج هم ممکنه فوری نباشه و به خزش دوباره اون بستگی داره.
محافظت از محتوای خصوصی با رمز عبور یا ورود کاربری
برای فاکتور، اطلاعات مشتری، فایل داخلی یا هر محتوای حساس دیگه از robots.txt استفاده نکنید. این فایل عمومی هست و هر کسی میتونه مسیرهای نوشتهشده داخل اون رو ببینه.
محتوای خصوصی رو پشت ورود کاربری، رمز عبور یا محدودیت درست سرور بذارید. اگه داده واقعاً حساسه، فقط پنهانکردن لینک یا استفاده از noindex هم امنیت کافی ایجاد نمیکنه.
چطور فایل robots.txt رو بررسی و آزمایش کنید؟
هر تغییری رو با چند آدرس واقعی آزمایش کنید؛ یک صفحه مهم، یک نوشته، یک محصول، یک فایل CSS و مسیری که عمداً بستهاید. این کار خیلی سریعتر از پیداکردن مشکل بعد از افت خزش سایت هست.
بررسی یک آدرس در Google Search Console
- Google Search Console رو باز و ویژگی درست سایت رو انتخاب کنید.
- آدرس کامل صفحه رو در نوار URL Inspection وارد کنید.
- جزئیات ایندکس، آخرین خزش و پیام مربوط به مسدودشدن با robots.txt رو بررسی کنید.
- اگه گزینه آزمایش زنده در دسترس بود، اون رو اجرا کنید تا دسترسی فعلی گوگل به صفحه بررسی بشه.

گزارش ذخیرهشده معمولاً وضعیت ثبتشده از بررسی قبلی گوگل رو نشون میده و ممکنه با وضعیت همین لحظه فرق داشته باشه. آزمایش زنده هم همه شرایط ایندکسشدن صفحه رو تضمین نمیکنه؛ پس نتیجه رو کنار زمان آخرین خزش و گزارش Page indexing بررسی کنید.
پیدا کردن خطاهای خزش و مسیرهای مسدودشده
گزارش Page indexing رو برای پیامهایی بررسی کنید که به مسدودشدن با robots.txt مربوط هستن. اگه یک صفحه مهم مسدود شده، متن robots.txt رو باز کنید و دنبال قانونی بگردید که با مسیر اون صفحه تطبیق داره.
فقط صفحه HTML رو بررسی نکنید. فایلهای CSS، JavaScript و تصاویر اصلی هم ممکنه با یک قانون پوشهای بسته شده باشن. ابزار URL Inspection و اطلاعات Crawl stats میتونن برای پیداکردن مشکل سرنخ بدن، ولی فهرست کامل همه فایلهای خزیدهشده رو در اختیارتون نمیذارن.
بررسی دوباره سایت بعد از هر تغییر
بعد از ذخیره فایل، اون رو در مرورگر باز کنید و مطمئن بشید نسخه تازه نمایش داده میشه. کش افزونه، سرور یا CDN ممکنه نسخه قبلی رو نگه داره؛ پس اگه لازم بود کش مرتبط رو پاک کنید.
چند صفحه مهم رو دوباره آزمایش کنید و طی روزهای بعد گزارشهای Google Search Console رو زیر نظر بگیرید. تغییر robots.txt همیشه بلافاصله در گزارشها دیده نمیشه، چون خزنده باید نسخه تازه فایل رو دوباره دریافت کنه.
اشتباههای رایج در بهینهسازی فایل robots.txt در وردپرس
- مسدود کردن کل سایت با یک دستور اشتباه: دستور
Disallow: /خزش همه مسیرهای سایت رو برای گروه مربوط میبنده. - بستن صفحهای که دستور noindex داره: وقتی خزنده نتونه صفحه رو باز کنه، احتمالاً دستور noindex داخل اون رو هم نمیبینه.
- مسدود کردن فایلهای لازم برای نمایش صفحه: بستن پوشه افزونهها یا قالب ممکنه دسترسی به CSS، JavaScript و تصاویر مهم رو قطع کنه.
- استفاده از robots.txt برای پنهان کردن اطلاعات خصوصی: این فایل عمومی هست و ابزار امنیتی به حساب نمیاد.
- نوشتن آدرس اشتباه نقشه سایت: استفاده از دامنه، پروتکل یا مسیر اشتباه باعث میشه خزنده نقشه موردنظر رو پیدا نکنه.
- انتظار افزایش مستقیم رتبه و ترافیک از این فایل: robots.txt ابزار مدیریت خزشه و بهتنهایی سیگنال مستقیم رتبهبندی نیست.
چکلیست نهایی بهینهسازی فایل robots.txt در وردپرس
- فایل robots.txt سایتتون رو با آدرس مستقیم باز کنید.
- مسیرهای مسدودشده رو خطبهخط بررسی کنید.
- دسترسی به صفحهها، CSS، JavaScript و تصاویر مهم رو باز نگه دارید.
- آدرس درست نقشه سایت رو با HTTPS وارد کنید.
- صفحههای مهم رو با Google Search Console آزمایش کنید.
- بعد از تغییرات، وضعیت خزش سایت رو دوباره بررسی کنید.
بهینهسازی فایل robots.txt فقط یکی از بخشهای فنی سایت هست. برای دیدن بقیه موارد مهم، راهنمای سئو تکنیکال وردپرس رو هم بخونید.
سؤالهای متداول درباره فایل robots.txt وردپرس
آیا نبودن فایل robots.txt جلوی ایندکس شدن سایت رو میگیره؟
نه. نبودن فایل robots.txt اختصاصی معمولاً جلوی خزش یا ایندکس صفحههای عمومی سایت رو نمیگیره. وردپرس هم میتونه این فایل رو بهصورت مجازی ارائه کنه.
آیا robots.txt رتبه سایت رو مستقیم بهتر میکنه؟
نه. این فایل ابزار مدیریت خزشه و بهتنهایی رتبه سایت رو مستقیم بالا نمیبره. تنظیم درست اون فقط کمک میکنه دسترسی رباتها به بخشهای مهم سایت خراب نشه.
آیا میشه با robots.txt یک صفحه رو از نتایج گوگل حذف کرد؟
نه، نتیجه قطعی نمیگیرید. برای صفحه عمومی از noindex استفاده کنید و اجازه بدید ربات صفحه رو بخزه. برای محتوای خصوصی هم ورود کاربری، رمز عبور یا محدودیت سرور لازمه.
آیا باید پوشه wp-admin رو مسدود کنیم؟
بستن مسیر /wp-admin/ و باز نگهداشتن /wp-admin/admin-ajax.php یک تنظیم رایجه، ولی نسخه قطعی برای همه سایتها نیست. قبل از تغییر، عملکرد سایت، مسیر مدیریت و نیاز افزونههاتون رو بررسی کنید.
آیا اضافه کردن نقشه سایت به robots.txt ضروریه؟
نه، ضروری نیست؛ ولی پیداکردن نقشه سایت رو برای خزندهها راحتتر میکنه. میتونید نقشه سایت رو جداگانه در Google Search Console هم ثبت کنید.
بعد از تغییر robots.txt چقدر طول میکشه رباتها نسخه تازه رو ببینن؟
زمان ثابتی نداره. خزنده باید فایل رو دوباره دریافت کنه و نسخههای کششده هم باید تازه بشن. بعد از تغییر، فایل رو مستقیم باز کنید و وضعیت صفحههای مهم رو در Google Search Console بررسی کنید.
جمعبندی
برای بهینهسازی فایل robots.txt در وردپرس، لازم نیست دهها مسیر رو مسدود کنید. اول فایل فعلی رو ببینید، فرق خزش و ایندکس رو در نظر بگیرید و فقط مسیرهایی رو ببندید که واقعاً نباید خزیده بشن. دسترسی به صفحهها و منابع مهم رو باز نگه دارید و آدرس درست نقشه سایت رو هم معرفی کنید.
یادتون نره robots.txt ابزار امنیتی یا راه حذف قطعی صفحه از گوگل نیست. برای جلوگیری از ایندکس صفحه عمومی از noindex و برای محتوای خصوصی از ورود کاربری یا رمز عبور استفاده کنید. در پایان هم هر تغییر رو با چند آدرس واقعی و Google Search Console آزمایش کنید تا یک قانون اشتباه جلوی خزش بخش مهمی از سایتتون رو نگیره.

سلام و درود
بنده وقتی تو مرورگر سرچ کردم https://www.*******.com/robots.txt
فایل robots.txt من این شکل است
User-agent: *
Disallow: /wp-content/uploads/wc-logs/
Disallow: /wp-content/uploads/woocommerce_transient_files/
Disallow: /wp-content/uploads/woocommerce_uploads/
Disallow: /*?add-to-cart=
Disallow: /*?*add-to-cart=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# START YOAST BLOCK
# —————————
User-agent: *
Disallow:
Sitemap: https://www.**********.com/sitemap_index.xml
# —————————
# END YOAST BLOCK
Sitemap: https://www.************.com/xmlsitemap.xml
Allow: /http://rsssitemap.xml
Allow: /http://rsslatest.xml
Allow: /http://htmlsitemap.htm
آیا درست هست؟
معمولا allow کردن چندین sitemap نیاز نیست و اضافه کردن سایت مپ اصلی کافیست.
User-agent: *
Disallow: /wp-content/uploads/wc-logs/
Disallow: /wp-content/uploads/woocommerce_transient_files/
Disallow: /wp-content/uploads/woocommerce_uploads/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# START YOAST BLOCK
# —————————
User-agent: *
allow:
Sitemap: ropina.ir/sitemap_index.xml
# —————————
# END YOAST BLOCK
به نظرتون این کد درسته؟
درود بله درسته
سلام وقت بخیر
من سایتم رو به سرچ کنسول وصل کرده بودم و سایت مپ هم گذاشته بودم و فایل robots.txt هم درست کرده بودم و همه چی اوکی بود
ولی فرداش یهو سرچ کنسول ارور robots.txt unreachable داد و دیگه درست نشد
کلاً 3,4 روزه که به سرچ کنسول وصل شدم
با عرض سلام و خسته نباشید
از قسمت sitemaps سرچ کنسول دیدیم که نوشته status = couldn’t fetch
بعدش رفتم فایل robots سایتم رو چک کردم که به این صورت بود :
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: amazonbot
Disallow: /
User-agent: bingbot
Disallow: /
User-agent: YandexBot
Disallow: /
از اونجایی که دیدم اسمی از بات گوگل نیورده این دو خط هم اضافه کردم :
User-agent: Googlebot
Disallow: /
به نظرتون الان مشکل سایت مپ سایتم حل میشه ؟
درود و خسته نباشد
بنده فایل robots.txt سایت مهن وردپرس رو بررسی کردم و با این کد برخورد کردم
Disallow: /api/
api که مهمه اما چرا از دید robat مخفی کردید و دسترسی ندادید؟
ممنون میشم بگید🙂
سلام توی یواست سئو بخش ابزار ها گزینه ای راجب ویرایش فایل نیست که من فایل robotب سازم فقط دوتا گزینه ویرایش گروهی و درون رزیزی/ برون ریزی هست بقیه پلاگین هم چک کردم اثری ازش نبود؟
2- من رفتم از پلاگین virual robots.txt استفاده کردم برای ویرایش فایل ربات اشکالی ندره ؟.
سلام مشکلی نیست دستی از هاست هم میتونید بسازید.
سلام میخواستم بدونم که این فایل Robots.txt رو باید خودمون بسازیم یا داخل هاست هست این دستور هایی هم که نوشتید کجا وارد کنیم؟
با سلام من همین مشکل رو دارم آیا خوبه یا با متن داخل سایت جایگزین کنم تشکر
پاسخ گوگل fun hc jaodw oxh در زمان ثبت url
URL is not available to Google
This page cannot be indexed. Pages that aren’t indexed can’t be served on Google. See the details below to learn why it can’t be indexed
متن داخل فایل robots.txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap:?????.ir/sitemap_index.xml
سلام مشکل از فایل ربات نیست شاید سایت شما در دسترس ربات های گوگل نیست
سلام وقت بخیر
ممنون از مقاله خوبتون
یک سوال داشتم
الان گوگل داره فیلتر های سایت ایندکس میکنه مثلا کاربر رنگ مشکی انتحاب کرده و گوگل آدرس اونو نمایش میده
اینو چطور میشه ار فایل robots بست که دیگه به گوگل اجازه ایندکس این صحات ندیم؟
با سپاس
سلام افزونه رنک مث نصب کنید خودکار اصلاحش میکنه
سلام
تو افزونه رنک مث فایل robots.txt ساخته شده ؛ با این وجود لازمه در روت سایت هم فایل robots.txt بسازیم؟
من محتوای سایتم علی رغم اینکه بصورت دستی در سرچ کنسول ایندکس میکنم ولی تو نتایج جستجو نمیاد … به تعبیری درخواست ایندکس میدم ولی ظاهرا ایندکس نمیشه که بعد چند روز هنوز تو نتایج نشون نمیده … تو سیستم قبلی (Fetch as Google) یادمه کمتر از یکساعت بعد درخواست ایندکس میکرد پست جدیدم رو
نمیدونم مشکل از کجاست
راهنمایی لطفا ….
سلام خیر نیازی نیست. موارد زیادی هست توی سایت و یوتیوب در موردش توی یه ویدیو صحبت کردیم
سلام و وقت بخیر ممنونم از وب سایت بسیار خوبتون
آیا این کد بهینه هست برای robots.txt:
User-agent: *
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.css?ver=*
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.js?ver=*
Allow: /wp-content/plugins/*.png
Allow: /?display=wide
Sitemap:
سلام پیشنهاد میشه به جاش از کدی که توی مقاله هست استفاده کنید.
خوب سلتم من نتونستم باکس نظرات رو پیداکنم مجبورشدم رو سوال یک کاربر سوالم و بپرسم
ممنون واسه وقتی که گذاشتین و دوره رایگان برامون تهیه کردین
من دوره رایگان اموزش وردپرس رو دیدم
ممنون عالی بود فقط کدهایی ک برای این ربات گذاشتین و منوجه نشدم کجا بزارم و چجوری این ربات و برای سئو فعال کنم
برنامه نویسی همبلد نیستم فقط دوره رایگان شمارو دیدم ممنون میشم واسه مبتدی هم توضیح بدین کل نظرات و خوندم ولی متوجه نشدم تو پاسخ ها
سپاس. توی فایل robots.txt تو فایل منیجر هاست باید قرار بدید. اگر این فایل رو ندارید بسازیدش
سلام.مهندس جان لطفا بفرمایید چی رو حذف کنم چی بمونه . اموزش رو دیدم ولی چون وارد نیستم میترسم دست بزنم. 5 ساله دست به فایل ربوت تکست نزدم . لطفا نگاه کنید هر چی لازمه بگید حذف یا اضافه کنم. سایت مپ نیست .الانم ترسیدم اضافه کنم. ممنون و تشکر
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
سلام هیچ تغییری ایجاد نکنید الان فایل ربات شما بهینه هست. فقط سایت مپ رو اضافه کنید طبق آموزش به آخرین خط
سلام مجدد
این مورد رو هم Allow: /wp-admin/admin-ajax.php دیدم در اکثر سایت ها در فایل ربات موجو هست، در سایت خود شما هم همینطور، این یعنی چی؟ داریم دسترسی کراول به چه فایل هایی رو میدیم؟ و اینکه این خط رو وارد می کنیم دیگه نیازی به Allow: /wp-content/uploads/ نیست؟ چون سایت خود شما و بقیه که این کد رو گذاشته بودن دیگه wp-content وجود نداشت؟
سلام اگر توی سایتتون استفاده شده باید دسترسی رو بدین. آپلود رو خیر چون کلا بلاکش نکردیم
سلام مجدد
از کجا بفهمیم داریم از ajax استفاده میکنیم یا نه؟
سلام تو کدهای صفحات سایت باید سرچ کنید
سلام
ممنون از مقاله خوبتون، من از یوست سئو استفاده میکنم و در نقشه xml سایت علاوه بر دو آدرس sitedomain/post-sitemap.xml و sitedomain/page-sitemap.xml یک آدرس دیگه هم تحت عنوان sitedomain/e-landing-page-sitemap.xml داریم، آیا باید این رو هم در پوشه robot.txt قرار بدیم ؟؟؟ و اینکه اصلا چی هست این آدرس؟ به کدام صفحات سایت اشاره داره؟
ممنون
سلام خیر لزومی نداره شما سایت مپ اصلی رو قرار بدید. ظاهرا تنظیمات رنک مث درست انجام نشده آموزشش رو تو سایت ببینید.
سلام آقای حسینی راد
وقتتون بخیر
من کدی که داخل این مطلب نوشتید (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) رو داخل functions.php سایتم گذاشتم که فید سایت کلا غیرفعال بشه. وچند روزی هم هست که از این کار میگذره.
داخل سرچ کنسول بخش Coverage >Server error (5xx) به چنتا URL مشابه این site.com/test/feed/ گیر میده.
حالا میخواستم بدونم که آیا باید از robots.txt فید رو ببندم؟
اگر بله چه کدی داره که باید بذارم توی robots.txt؟
سلام وقتی فید رو باز میکنید بهتون چه خطایی میده؟
سلام همون فایل xml رو که توی کد های مقاله (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) نوشته بودید رو نشون میده.
یعنی وقتی مینویسم site.com/feed این فایل xml نمایش داده میشه، که داخلش نوشته :
error
code>wp_die500</status
/data
/error
بهتره این مسیر رو کلا noindex کنید
سلام وقت شما بخیر و خیلی ممنون از زحماتی که میکشین.
سایت من وردپرسی نیست، میخواستم بدونم که این ساختار فایل ربات درست است و جای قراردادن نقشه سایت اشتباه نیست؟ یعنی تأثیر منفی نداره که در خط بعدی disallow آورده شده است؟
درود بر شما این فایل برای وردپرس مناسب هست. باید ببینید ادرس نقشه سایت شما چیست و اون رو وارد کنید. خط های بالایی رو هم حذف کنید.
با سلام
بنده یه مشکلی برای هاست دانلودم پیش اومده که تو سرچ گوگل ایندکس شده! با اینکه دسترسی به فولدرها رو بسته بودیم! معمولا فایل های ورد و pdf ایندکس شده اند!
برای عدم ایندکس شدنشون فایل robots.txt رو ساختیم و کد زیر رو داخلش گداشتیم:
User-agent: *
Disallow:*
آیا همینکار کافیه؟ و اینکه معمولا چندروز طول میکشه که نتایج از سرچ گوگل حذف بشن؟
درود بر شما بله این کار کافیه. حدودا ۲ هفته تا یک ماه طول خواهد کشید.
با سلام و عرض ادب
چگونه می توانیم noindex tag را در صفحات آرشیو دسته بندی و برچسب های سایتم غیر از صفحهی اول قرار دهم؟ قبلا این امکان در یواست سئو بود ولی چند سالی است که حذف شده است؟
ممنون می شوم راهنمایی کامل بفرمایید.
سلام
توی نسخه جدید یواست این مورد به صورت خودکار اتفاق میفته
من این افزونه را سایت شما تهیه کردم ولی چنین اتفاقی نمی افته و تمام صفحات دسته بندی ها و برچسب ها متاسفانه در گوگل ایندکس می شود!!!
شما فرمودید که خودکار فعال می شود ولی چنین نیست فقط یک گزینه در منو طبقه بندی ها در بخش دسته است که نوشته نمایش دستهها در نتایج جستجو که الان فعال است ولی اگر غیرفعال کنم کل صفحات دسته ها حتی صفحه ی اول دسته بندی را نوایندکس می کند در حالی که من می خوام صفحه اول و اصلی ایندکس باشد باید چکار کنم که صفحات دسته بندی و برچسب را بجز صفحه اول نوایندکس شود؟
با تشکر
لطفا افزونه رو به آخرین نسخه آپدیت کنید و در صورت برطرف نشدن مشکلتون با بخش پشتیبانی سایت در ارتباط باشید
سلام
من از افزونه Yoast SEO Premium استفاده میکنم و کد زیر برای فایل robots.txt می خوام قرار بدم این کد زیر مناسب هست مشکلی نداره؟
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Sitemap: https://site.com/sitemap_index.xml
سلام خیر زیادی پیچیده کردید. آموزش ساخت فایل ربات را توی سایت ببینید.
بله اون آموزش مشاهده کردم
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.com/sitemap_index.xml
خب حالا مناسب هست؟
بله دقیقا
سلام
وقت بخیر
1: من از افزونه Yoast SEO Premium استفاده میکنم و فایل robots.txt خودش ساخته شده ولی در پوشه public_html هاستم بررسی کردم نبود باید متن های این فایل از کجا تغییر بدم؟
2: من کد زیر برای درج در فایل robots.txt ساختم حالا یه بررسی خوبه پیشنهادی دارید؟
sitemap: https://mysite.com/sitemap_index.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
سلام فایل ربات زیادی طولانی هست. آموزش ساخت ربات رو توی سایت ببینید کد صحیحش رو گذاشتیم.
سلام یه فایل روبوت ساختم لطف کنید چک کنید درست هستش یا نه اگه بخشی باید اضافه یا کم بشه بفرمایید اصلاح کنم
سپاس فراوان
User-agent:*
Disallow: /wp-admin/
Allow: /wp-admin/js
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/css
Allow: /wp-content/themes/woodmart/css
Allow: /wp-content/themes/woodmart/js
Disallow: /cgi-bin/
Disallow: /readme.html/
Disallow: /wp-content/cache
Allow: /*?$
Disallow: /*?
Disallow: /book*/ //bookstart//
User-agent:
Disallow: baidu
User-agant: Googlebot-image
Allow: /*.gif$
Allow: /*.png$
Allow: /*.ico$
Allow: /*.jpeg$
Allow: /*.tiff$
Allow: /*.psd$
Allow: /*.bmp$
Allow: /*dng$
Allow: /*.raw$
درود زیادی شلوغ شده توی سایت ما سرچ کنید ساخت فایل ربات آموزشش هست یه فایل ساده باید بسازید.
با اینکه فایل index.php تو پوشه تم انفولد هستش ولی یک سری از آدرس ها هم مربوط به تم انفولد هست و aviaframework
اگر فایل وجود داره چند روز صبر کنید سپس چک کنید
آگه از طریق سی پنل دایرکتوری upload را به حالت noindex تغییر بدیم مشکلی برای سایت پیش نمیاد؟
چون زیرمجموعه public html و wpcontent هست میترسم مشکل ایندکس پبدا کنه.
نباید اینکار رو انجام بدید.
بعد توی این فایل باید کد خاصی بنویسیم آقای حسینی؟ چون نمی دونم باید چی باشه تو این فایل.
خیر فقط بسازید و طبق مراحل بالا داخلش متن ها رو وارد کنید
سلام. من وقتی سایت رو تو گوگل جستجو می کنم یک سری از آدرس های مربوط به دایرکتوری آپلود میاد بالا که البته از تو سرچ کنسول آن ها را به درخواست حذف (removal url) اضافه کردم.
می خواستم بدونم دلیل نمایش دایرکتوری آپلود تو نتایج جستجو چیه؟ میشه کل دایرکتوری آپلود رو حذف کنیم؟
حدود 4 url به صورت زیر تو گوگل می بینم :
Index of /wp-content/uploads/2018/
https://example.com/wp-content/uploads/2018/?MD
سلام شما باید یه فایل index.php توی پوشه های آپلود بسازید تا جلوگیری کنه از ایندکس شدن اونها
سلام جناب مهندس
بنده هم دقیقا همین مشکل را دارم. جسارتا متوجه نشدم چه کاری باید بکنم
1.منظور از index.php همان
<?php
// Silence is golden.
هست آیا؟
2. این فایل index.php را یکبار داخل فولدر wp-content/uploads بگذارم یا داخل تک تک پوشه های درون فولدر wp-content/uploads
سپاسگزارم
درود بر شما فرقی نداره حتی میتونه فایل خالی باشه. در تمام پوشهها قرار بدید.
سلام با نصب نسخه ای دیگه از قالب ( هردو نسخه اورجینال تهیه شدند از مارکت های معتبر داخلی ) باز همین مشکل وجود داره .
البته الان توی گوگل انتهای لینک هایی که noindex شدند کلمه feed درج شده.
نمونه : http://www.doman.com/blog/category/%D5%8%D7%22F/feed/
http://www.domain.com/blog/12-%D9%85%D9%88%D8%B1%D8%AF/feed/
نوایندکس بودن این ها مشکلی ایجاد میکنه یا خیر ؟ تاثیر منفی توی سئو و بازدید میزاره ؟
بله صد البته. توی سئو تاثیر داره و نمایش داده نخواهید شد توی نتایج گوگل. از هر سایتی تهیه می کنید حتما تصویر از لایسنس بخواید
سلام اقای حسنی روز بخیر
من حدود 15 روز پیش از یک شرکتی قالب جنه را تهیه کردم و ازش روی وبلاگ سایتمون استفاده کردیم.
با گذشت حدود 15 روز دیروز به صورت ناگهانی توی وبمستر حدود 1000 عدد ایندکسمون حذف شدن. بعد بررسی متوجه شدم همه ایندکس های حذف شده مربوط به tag ها بودن .
بررسی کردم و دیدم توی وبمستر جدید در بخش Status > Index coverage حدود 990 تا Excluded by ‘noindex’ tag ثبت شده.
و توی URL Inspection لینک های حذف شده این موارد را دارند.
Crawl
Last crawl
Jul 30, 2018, 4:56:22 AM
Crawl allowed?
Yes
Page fetch
Successful
Indexing
Indexing allowed?
No: ‘noindex’ detected in ‘X-Robots-Tag’ http header
User-declared canonical
N/A
Google-selected canonical
N/A
شما اطلاع دارید که از کدوم بخش قالب قسمت تگ ها نواندکس شدند ؟ (افزونه یوست سئو رو تست کردم و از سمت افزونه مشکل نبود )
نوایندکس بودن این لینک ها مشکل ساز میشه برامون یا خیر ؟ و اینکه چجوری اینو حل کنیم؟؟
توی فایل robots.txt هم از نوایندکس استفاده نکردیم اصلا.
ممنون میشم راهنمایی کنید.
سلام
ظاهرا noindex بودن ادرس ها و دستکاری شده توی کدنویسی قالب (نال شده) . نسخه اصلی قالب رو خریداری کنید و نصب کنید مشکل حل خواهد شد.
سلام خسته نباشید
ایا نقشه سایت باید با http وارد بشه یا https
سلام
اگر سایتتان https دارد با https ثبت کنید.
سلام
بخش Allow: /wp-content/uploads/ چه کاری می کنه؟ آیا با اضافه کردن این بخش میشه باعث شد وقتی فایلی یا عکسی آپلود می کنیم جداگانه صفحه ای ساخته و ایندکس نشه؟
من از yoast استفاده می کنم و برای page/post/category نقشه های جداگانه گذاشتم مشکلی پیش نمی یاد یا بهتره به این شکل باشه
Sitemap: https://example.com/sitemap_index.xml
ممنون
سلام
۱. این بخش میگه تصاویر سایت رو ایندکس کن
۲. خیر مشکلی پیش نمیاد
سلام ممنون بابت راهنمای من فایل Robots.txt رو داخل public html قرار دادم و این کد هارو بهش اضافه کردم
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
ولی افزونه Yoast به طور اتوماتیک نقشه سایت رو اضافه نکرد
حالا کد بالا که قرا دادین رو که بصورت دستی اضافه کنیم مثل همین متن درست میشه مشکلی نداره
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Sitemap: https://capitankala.com/post-sitemap.xml
Sitemap: https://capitankala.com/page-sitemap.xml
ممنون میشم راهنمایی کنید.
سلام
نقشه سایت توسط yoast خودکار ایجاد میشود به این آدرس : sitemap_index.xml
طبق همین آموزش پیش بروید.
سلام خسته نباشید
1 من در پوشه روت سایتم داخل این پوشه wp-snapshots فایل robots.txt رو دارم ایا باید اینو تغییر بدم
2 یا باید به صورت جداگانه robots.txt رو بسازم و در مسیر خاصی قرار بدم
3 اگر گزینه 1 هستش داخل این فایل این کد وجود داره
User-agent: *
Disallow: /wp-snapshots/
باید کدهای رو که گفتین رو زیر همین کدها قرار بدم یا باید کامل جایگزین شن
ممنون میشم راهنمایی کنید با تشکر
سلام
فایل robots.txt را در public html بسازید. نیاز به کار خاص دیگری نیست. آموزش زیر را هم ببینید :
https://mihanwp.com/robots/
با عرض سلام وخسته نباشید به تیم میهن وردپرس و ممنون از آموزش هایی که میزارین
من یه سوال داشتم
نقشه سایت رو به کدوم حالت باید در روباط قرار بدیم
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
یا
Sitemap: http://www.example.com/sitemap.xml
کدوم حالت بهتره ؟؟؟
سلام
آخرین مورد.
البته اگر از yoast استفاده می کنید ادرس نقشه سایت این میشود :
sitemap_index.xml
سلام
شما در کد دمی که نام بردید Disallow رو به سایت مپ دادید و دسترسی ها رو بستید
گوگل در وب مستر تولز پیام خطا به این امر داده است
لطفا درست مقاله را منتشر کنید
با تشکر
سلام درست میفرمایید منظور در کد آخر جای گیری کد سایت مپ بود نه اینکه کد رو توی سایت قرار بدید.
سلام ببخشید من روی دوتا سایت تست کردم الان روشون یوست نصبه ولی هر دو دوخط اخر کد داخلشون نبود و فقط این بود
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
لازمه اون دو خط اخر رو اضافه کنم ؟
درود بله اضافه کنید
سلام – این مطلب خیلی ارزشمندی بود من لذت بردم و اینکه سایتتون هم عالیه خدا قوت <a href=”http://www.battery-etminan.ir/”>.</a><a href=”http://ebattery.mihanblog.com/”>.</a><a href=”http://ebattery.blog.ir/”>.</a>
سلاممن مدتی از طریق فایل robots دسترسی به wp-content مسدود بود ، الان 1هفتس که به همه چیز دسترسی دادم و فقط wp-admin رو بستمکلا از 1800تا عکس من 40تا ایندکس شده اونم قبل از بستن عکسا الان بعد یک هفته حتی تو گوگل ایمیج سرچ میکنم سایتمو هم همین 40تا بیشتر نمیشه و ایندکس نمیشهتو قسمت Fetch as Google بصورت دستی مطلب تازه منتشر شده رو fetch and render رو زدم که عکس نشون میده رباط نمیتونه یکسری عکسها رو ببینهstatus رو زده partial و داخل اون هم همه عکسها و حتی یکسری اسکریپتها و استایهها رو دلیل (reason) زده Temporarily unreachable !!مشکل چی میتونه باشه ؟؟؟1- فایل روباط?!User-agent: *Disallow:Disallow: /wp-admin/Sitemap: …2- افزونه امنیتی دارم wordfence اما تو تنظیمات زده از رباط جلوگیری نشه و حتی تو لایو ویوش نشوون میده رباط ها میان و بلاک نمیشن!3- تنظیماتی تو فایل .htaccess میتونه تاثیر بذاره؟4- مرجعی سایتی چیزی تو خود همین وبمستر هست چک کنه بگه ؟5- از هاست چی؟6- یا فقط نیاز به زمان هست درست بشه؟!
با سلام و خسته نباشیدمی تونم بپرسم شما از چه افزونه ای برای ستاره دار کردن مطالبتون در گوگل استفاده می کنید
سلام افزونه نیست. کد های قالب سایتمون هست
سلام
این فایلو درکجای هاست باید قرار دهیم درکدوم قسمت؟
ومیخام عکسو دروردپرس واسه اسلایدر بزارم چون عکسه کوچیکه کوچک دیده میشه تواسلایدر چجوری یه کاری کنم که تواسلایدر کامل دیده بشه
سلام
فایل رو در پوشه اصلی سایتتون قرار بدید.
در مورد عکس باید به عکس کلاس width:100% بدید تا تمام عرض نشون داده بشه