آموزشها
افزونهها
سایت برتر
هوشینا
چتینافایل robots.txt چیست؟ بهینه سازی فایل ربات در وردپرس
- آموزش سئو وردپرس مقالات آموزشی
- بروزرسانی شده در
در این مقاله به اهمیت فایل robots.txt در سایت و سئو سایت شما می‌پردازیم. با این کار می‌توانید سئو سایت خود را بالابرده و در ضمن روی رتبه الکسا سایت شما نیز تأثیر زیادی دارد. شما می‌توانید توسط این فایل آمار ترافیک سایت خود را بهبود دهید؛ و فروش محصولات خود را بالا برده و فروش خود را گسترش دهید.
شما با استفاده از بهینه‌سازی سایتتان می‌توانید سبب پیشرفت و بهبود عملکرد آن شوید. همچنین شما می‌توانید زیر نظر خود دسترسی‌های متفاوتی را به این ربات‌ها دهید. توجه داشته باشید عدم توجه به آن می‌تواند پیامدهای غیرقابل جبرانی برای سایت شما داشته باشد و رتبه سایت شما را پایین‌تر آورد.
آنچه در این مقاله می‌خوانید
فایل robots.txt چیست؟
توسط این فایل شما می‌توانید مشخص کنید که گوگل چه قسمت‌هایی از سایت شما را ایندکس کند و درواقع می‌توانید گوگل را کنترل کنید. توسط این فایل قسمت‌های محدود و مشخص از سایت شما توسط موتورهای جستجو ایندکس میشود. درواقع توسط این قسمت مشخص میشود که گوگل به چه قسمت‌هایی دسترسی داشته باشد و سراغ محتوای غیر مرتبط نرود.
این فایل به‌صورت اتوماتیک بر عملکرد سایت شما تأثیر می‌گذارد. و به‌وسیله آن می‌توان صفحاتی که محتوای آن‌ها از اهمیت چندانی برخوردار نیست ایندکس نشاند. درواقع موتورهای جستجو توسط این ربات متوجه می‌شوند که به چه بخش‌هایی اجازه دسترسی دارند.
چرا فایل robots.txt برای سئو مهم است؟
به دلیل اینکه برای ربات‌های گوگل و بینگ robots.txt مهم است. این فایل به دلیل اینکه اجازه می‌دهد موتورهای جستجو مانند: گوگل و یاهو و یا بینگ محدرات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می‌باشد.
بنابراین این ربات در بالا رفتن سئو سایت اهمیت فراوانی دارد که نمی‌توان آن را نادیده گرفت. در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه میشود و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند. شما توسط این فایل به‌عنوان یک وبمستر حرفه‌ای عمل کرده؛ اهمیت فایل تاحدی است که حتی خود گوگل هم دارای این فایل است! پس ساخت آن را حتماً جدی بگیرید.
پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب میشود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وبمستر حرفه‌ای آن را کنترل کنید.
آیا واقعا به فایل robots.txt نیاز داریم؟
بله برای اینکه صفحه سایت شما بتواند توسط گوگل، بینگ و… ایندکس شود شما به فایل Robots.txt نیاز دارید. تا زمانی که فایل ربات نباشد گوگل و سایر موتورهای جستجو نمی‌توانند به صفحه اصلی یا ایندکس سایت شما دسترسی داشته باشند؛ معمولاً اگر شما درهاست خود فایل Robots.txt نداشته باشید باید یک فایل جدید بسازید و نام آن را ربات بگذارید.
بهترین راه برای بالا بردن بازدید سایت شما بالا بردن رتبه سایتتان در موتورهای جستجو است. زمانی که رتبه سایت شما در این موتورها بالا رود شما بازدید بیشتری داشته و درنتیجه می‌توانید درآمد بیشتری نیز داشته باشید. به‌واسطه‌ی ربات‌های موتورهای جستجوگر شما می‌توانید سایتتان را به این موتورها به‌راحتی معرفی کنید و میزان بازدید کاربران از سایتتان را افزایش دهید.
آموزش ساخت فایل Robots.txt
کد و یا فرمت‌های این پرونده خیلی ساده است. در سطر اول user agent را داریم که برای شما می‌گوید که از کدام سایت جستجوگر می‌خواهید استفاده کنید. اگر از گوگل می‌خواهید استفاده کنید باید جلوی آن Googlebot و یا اگر که می‌خواهید از بینگ Bingbot استفاده میکنید و جلوی آن قرار می‌دهید تا بتواند از گوگل یا بینگ کمک بگیرد. درصورتی‌که می‌خواهید تمامی ربات‌ها به سایت شما دسترسی داشته باشند علامت * را قرار دهید. در مرحله بعد شما باید کدهای Allow و Disallow را در فایل قرار دهید مانند مثال زیر:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.htmlالبته شما به‌عنوان مدیر سایت می‌توانید از افزونه WordPress SEO by Yoast جهت عدم نمایش دسته‌بندی سایت در ایندکس شدن صفحه‌نمایش صفحه‌هایی که ساخته‌شده‌اند استفاده کنید.
هدف از این آموزش این است که اگر مدیران سایت دوست نداشته باشند گوگل به تمام قسمت‌های سایتشان نفوذ کند می‌توانند از این فایل استفاده کرده و یک نوع حریم برای سایتشان ایجاد کنند. شما می‌توانید با استفاده از افزونه‌ای که در بالا ذکر شد کاری کنید که قسمتی از فایل‌ها مانند readme.html در گوگل ایندکس نشود و یا غیرازاین می‌توانید هر فایل دلخواه دیگری را مشخص کنید تا نمایش داده نشود.
در نظر داشته باشید برای نمایش دادن کامل سایت در گوگل شما باید نقشه سایت خود را در robots.txt قرار دهید. البته توسط افزونه WordPress Seo By نقشه سایت شما به‌طور اتوماتیک در فایل قرار می‌گیرد. و دیگر نیازی به قرار دادن توسط شما نیست. البته اگر باز دیدید که در کدهای robots.txt وجود ندارد باید آن را مانند کد زیر در فایل قرار دهید تا گوگل بتواند به نقشه سایت شما دسترسی داشته باشد و محدرات را برای مراجعه‌کنندگان نمایش دهد:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlکد بالا به تمامی ربات‌ها اجازه می دهد که بتوانند به نقشه سایت شما دسترسی کامل پیدا کنند
امیدوارم که از این مطلب ما هم راضی باشید. یا حق 🙂
سلام وقت بخیر
من سایتم رو به سرچ کنسول وصل کرده بودم و سایت مپ هم گذاشته بودم و فایل robots.txt هم درست کرده بودم و همه چی اوکی بود
ولی فرداش یهو سرچ کنسول ارور robots.txt unreachable داد و دیگه درست نشد
کلاً 3,4 روزه که به سرچ کنسول وصل شدم
با عرض سلام و خسته نباشید
از قسمت sitemaps سرچ کنسول دیدیم که نوشته status = couldn’t fetch
بعدش رفتم فایل robots سایتم رو چک کردم که به این صورت بود :
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: amazonbot
Disallow: /
User-agent: bingbot
Disallow: /
User-agent: YandexBot
Disallow: /
از اونجایی که دیدم اسمی از بات گوگل نیورده این دو خط هم اضافه کردم :
User-agent: Googlebot
Disallow: /
به نظرتون الان مشکل سایت مپ سایتم حل میشه ؟
درود و خسته نباشد
بنده فایل robots.txt سایت مهن وردپرس رو بررسی کردم و با این کد برخورد کردم
Disallow: /api/
api که مهمه اما چرا از دید robat مخفی کردید و دسترسی ندادید؟
ممنون میشم بگید🙂
سلام توی یواست سئو بخش ابزار ها گزینه ای راجب ویرایش فایل نیست که من فایل robotب سازم فقط دوتا گزینه ویرایش گروهی و درون رزیزی/ برون ریزی هست بقیه پلاگین هم چک کردم اثری ازش نبود؟
2- من رفتم از پلاگین virual robots.txt استفاده کردم برای ویرایش فایل ربات اشکالی ندره ؟.
سلام مشکلی نیست دستی از هاست هم میتونید بسازید.
با سلام من همین مشکل رو دارم آیا خوبه یا با متن داخل سایت جایگزین کنم تشکر
پاسخ گوگل fun hc jaodw oxh در زمان ثبت url
URL is not available to Google
This page cannot be indexed. Pages that aren’t indexed can’t be served on Google. See the details below to learn why it can’t be indexed
متن داخل فایل robots.txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap:?????.ir/sitemap_index.xml
سلام مشکل از فایل ربات نیست شاید سایت شما در دسترس ربات های گوگل نیست
سلام وقت بخیر
ممنون از مقاله خوبتون
یک سوال داشتم
الان گوگل داره فیلتر های سایت ایندکس میکنه مثلا کاربر رنگ مشکی انتحاب کرده و گوگل آدرس اونو نمایش میده
اینو چطور میشه ار فایل robots بست که دیگه به گوگل اجازه ایندکس این صحات ندیم؟
با سپاس
سلام افزونه رنک مث نصب کنید خودکار اصلاحش میکنه
سلام
تو افزونه رنک مث فایل robots.txt ساخته شده ؛ با این وجود لازمه در روت سایت هم فایل robots.txt بسازیم؟
من محتوای سایتم علی رغم اینکه بصورت دستی در سرچ کنسول ایندکس میکنم ولی تو نتایج جستجو نمیاد … به تعبیری درخواست ایندکس میدم ولی ظاهرا ایندکس نمیشه که بعد چند روز هنوز تو نتایج نشون نمیده … تو سیستم قبلی (Fetch as Google) یادمه کمتر از یکساعت بعد درخواست ایندکس میکرد پست جدیدم رو
نمیدونم مشکل از کجاست
راهنمایی لطفا ….
سلام خیر نیازی نیست. موارد زیادی هست توی سایت و یوتیوب در موردش توی یه ویدیو صحبت کردیم
سلام و وقت بخیر ممنونم از وب سایت بسیار خوبتون
آیا این کد بهینه هست برای robots.txt:
User-agent: *
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.css?ver=*
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.js?ver=*
Allow: /wp-content/plugins/*.png
Allow: /?display=wide
Sitemap:
سلام پیشنهاد میشه به جاش از کدی که توی مقاله هست استفاده کنید.
خوب سلتم من نتونستم باکس نظرات رو پیداکنم مجبورشدم رو سوال یک کاربر سوالم و بپرسم
ممنون واسه وقتی که گذاشتین و دوره رایگان برامون تهیه کردین
من دوره رایگان اموزش وردپرس رو دیدم
ممنون عالی بود فقط کدهایی ک برای این ربات گذاشتین و منوجه نشدم کجا بزارم و چجوری این ربات و برای سئو فعال کنم
برنامه نویسی هم‌بلد نیستم فقط دوره رایگان شمارو دیدم ممنون میشم واسه مبتدی هم توضیح بدین کل نظرات و خوندم ولی متوجه نشدم تو پاسخ ها
سپاس. توی فایل robots.txt تو فایل منیجر هاست باید قرار بدید. اگر این فایل رو ندارید بسازیدش
سلام.مهندس جان لطفا بفرمایید چی رو حذف کنم چی بمونه . اموزش رو دیدم ولی چون وارد نیستم میترسم دست بزنم. 5 ساله دست به فایل ربوت تکست نزدم . لطفا نگاه کنید هر چی لازمه بگید حذف یا اضافه کنم. سایت مپ نیست .الانم ترسیدم اضافه کنم. ممنون و تشکر
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
سلام هیچ تغییری ایجاد نکنید الان فایل ربات شما بهینه هست. فقط سایت مپ رو اضافه کنید طبق آموزش به آخرین خط
سلام مجدد
این مورد رو هم Allow: /wp-admin/admin-ajax.php دیدم در اکثر سایت ها در فایل ربات موجو هست، در سایت خود شما هم همینطور، این یعنی چی؟ داریم دسترسی کراول به چه فایل هایی رو میدیم؟ و اینکه این خط رو وارد می کنیم دیگه نیازی به Allow: /wp-content/uploads/ نیست؟ چون سایت خود شما و بقیه که این کد رو گذاشته بودن دیگه wp-content وجود نداشت؟
سلام اگر توی سایتتون استفاده شده باید دسترسی رو بدین. آپلود رو خیر چون کلا بلاکش نکردیم
سلام مجدد
از کجا بفهمیم داریم از ajax استفاده میکنیم یا نه؟
سلام تو کدهای صفحات سایت باید سرچ کنید
سلام
ممنون از مقاله خوبتون، من از یوست سئو استفاده میکنم و در نقشه xml سایت علاوه بر دو آدرس sitedomain/post-sitemap.xml و sitedomain/page-sitemap.xml یک آدرس دیگه هم تحت عنوان sitedomain/e-landing-page-sitemap.xml داریم، آیا باید این رو هم در پوشه robot.txt قرار بدیم ؟؟؟ و اینکه اصلا چی هست این آدرس؟ به کدام صفحات سایت اشاره داره؟
ممنون
سلام خیر لزومی نداره شما سایت مپ اصلی رو قرار بدید. ظاهرا تنظیمات رنک مث درست انجام نشده آموزشش رو تو سایت ببینید.
سلام آقای حسینی راد
وقتتون بخیر
من کدی که داخل این مطلب نوشتید (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) رو داخل functions.php سایتم گذاشتم که فید سایت کلا غیرفعال بشه. وچند روزی هم هست که از این کار میگذره.
داخل سرچ کنسول بخش Coverage >Server error (5xx) به چنتا URL مشابه این site.com/test/feed/ گیر میده.
حالا میخواستم بدونم که آیا باید از robots.txt فید رو ببندم؟
اگر بله چه کدی داره که باید بذارم توی robots.txt؟
سلام وقتی فید رو باز میکنید بهتون چه خطایی میده؟
سلام همون فایل xml رو که توی کد های مقاله (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) نوشته بودید رو نشون میده.
یعنی وقتی مینویسم site.com/feed این فایل xml نمایش داده میشه، که داخلش نوشته :
error
code>wp_die500</status
/data
/error
بهتره این مسیر رو کلا noindex کنید
سلام وقت شما بخیر و خیلی ممنون از زحماتی که میکشین.
سایت من وردپرسی نیست، میخواستم بدونم که این ساختار فایل ربات درست است و جای قراردادن نقشه سایت اشتباه نیست؟ یعنی تأثیر منفی نداره که در خط بعدی disallow آورده شده است؟
درود بر شما این فایل برای وردپرس مناسب هست. باید ببینید ادرس نقشه سایت شما چیست و اون رو وارد کنید. خط های بالایی رو هم حذف کنید.
با سلام
بنده یه مشکلی برای هاست دانلودم پیش اومده که تو سرچ گوگل ایندکس شده! با اینکه دسترسی به فولدرها رو بسته بودیم! معمولا فایل های ورد و pdf ایندکس شده اند!
برای عدم ایندکس شدنشون فایل robots.txt رو ساختیم و کد زیر رو داخلش گداشتیم:
User-agent: *
Disallow:*
آیا همینکار کافیه؟ و اینکه معمولا چندروز طول میکشه که نتایج از سرچ گوگل حذف بشن؟
درود بر شما بله این کار کافیه. حدودا ۲ هفته تا یک ماه طول خواهد کشید.
با سلام و عرض ادب
چگونه می توانیم noindex tag را در صفحات آرشیو دسته بندی و برچسب های سایتم غیر از صفحه‌ی اول قرار دهم؟ قبلا این امکان در یواست سئو بود ولی چند سالی است که حذف شده است؟
ممنون می شوم راهنمایی کامل بفرمایید.
سلام
توی نسخه جدید یواست این مورد به صورت خودکار اتفاق میفته
من این افزونه را سایت شما تهیه کردم ولی چنین اتفاقی نمی افته و تمام صفحات دسته بندی ها و برچسب ها متاسفانه در گوگل ایندکس می شود!!!
شما فرمودید که خودکار فعال می شود ولی چنین نیست فقط یک گزینه در منو طبقه بندی ها در بخش دسته است که نوشته نمایش دسته‌ها در نتایج جستجو که الان فعال است ولی اگر غیرفعال کنم کل صفحات دسته ها حتی صفحه ی اول دسته بندی را نوایندکس می کند در حالی که من می خوام صفحه اول و اصلی ایندکس باشد باید چکار کنم که صفحات دسته بندی و برچسب را بجز صفحه اول نوایندکس شود؟
با تشکر
لطفا افزونه رو به آخرین نسخه آپدیت کنید و در صورت برطرف نشدن مشکلتون با بخش پشتیبانی سایت در ارتباط باشید
سلام
من از افزونه Yoast SEO Premium استفاده میکنم و کد زیر برای فایل robots.txt می خوام قرار بدم این کد زیر مناسب هست مشکلی نداره؟
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Sitemap: https://site.com/sitemap_index.xml
سلام خیر زیادی پیچیده کردید. آموزش ساخت فایل ربات را توی سایت ببینید.
بله اون آموزش مشاهده کردم
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.com/sitemap_index.xml
خب حالا مناسب هست؟
بله دقیقا
سلام
وقت بخیر
1: من از افزونه Yoast SEO Premium استفاده میکنم و فایل robots.txt خودش ساخته شده ولی در پوشه public_html هاستم بررسی کردم نبود باید متن های این فایل از کجا تغییر بدم؟
2: من کد زیر برای درج در فایل robots.txt ساختم حالا یه بررسی خوبه پیشنهادی دارید؟
sitemap: https://mysite.com/sitemap_index.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
سلام فایل ربات زیادی طولانی هست. آموزش ساخت ربات رو توی سایت ببینید کد صحیحش رو گذاشتیم.
سلام یه فایل روبوت ساختم لطف کنید چک کنید درست هستش یا نه اگه بخشی باید اضافه یا کم بشه بفرمایید اصلاح کنم
سپاس فراوان
User-agent:*
Disallow: /wp-admin/
Allow: /wp-admin/js
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/css
Allow: /wp-content/themes/woodmart/css
Allow: /wp-content/themes/woodmart/js
Disallow: /cgi-bin/
Disallow: /readme.html/
Disallow: /wp-content/cache
Allow: /*?$
Disallow: /*?
Disallow: /book*/ //bookstart//
User-agent:
Disallow: baidu
User-agant: Googlebot-image
Allow: /*.gif$
Allow: /*.png$
Allow: /*.ico$
Allow: /*.jpeg$
Allow: /*.tiff$
Allow: /*.psd$
Allow: /*.bmp$
Allow: /*dng$
Allow: /*.raw$
درود زیادی شلوغ شده توی سایت ما سرچ کنید ساخت فایل ربات آموزشش هست یه فایل ساده باید بسازید.
با اینکه فایل index.php تو پوشه تم انفولد هستش ولی یک سری از آدرس ها هم مربوط به تم انفولد هست و aviaframework
اگر فایل وجود داره چند روز صبر کنید سپس چک کنید
آگه از طریق سی پنل دایرکتوری upload را به حالت noindex تغییر بدیم مشکلی برای سایت پیش نمیاد؟
چون زیرمجموعه public html و wpcontent هست میترسم مشکل ایندکس پبدا کنه.
نباید اینکار رو انجام بدید.
بعد توی این فایل باید کد خاصی بنویسیم آقای حسینی؟ چون نمی دونم باید چی باشه تو این فایل.
خیر فقط بسازید و طبق مراحل بالا داخلش متن ها رو وارد کنید
سلام. من وقتی سایت رو تو گوگل جستجو می کنم یک سری از آدرس های مربوط به دایرکتوری آپلود میاد بالا که البته از تو سرچ کنسول آن ها را به درخواست حذف (removal url) اضافه کردم.
می خواستم بدونم دلیل نمایش دایرکتوری آپلود تو نتایج جستجو چیه؟ میشه کل دایرکتوری آپلود رو حذف کنیم؟
حدود 4 url به صورت زیر تو گوگل می بینم :
Index of /wp-content/uploads/2018/
https://example.com/wp-content/uploads/2018/?MD
سلام شما باید یه فایل index.php توی پوشه های آپلود بسازید تا جلوگیری کنه از ایندکس شدن اونها
سلام جناب مهندس
بنده هم دقیقا همین مشکل را دارم. جسارتا متوجه نشدم چه کاری باید بکنم
1.منظور از index.php همان
<?php
// Silence is golden.
هست آیا؟
2. این فایل index.php را یکبار داخل فولدر wp-content/uploads بگذارم یا داخل تک تک پوشه های درون فولدر wp-content/uploads
سپاسگزارم
درود بر شما فرقی نداره حتی میتونه فایل خالی باشه. در تمام پوشه‌ها قرار بدید.
سلام با نصب نسخه ای دیگه از قالب ( هردو نسخه اورجینال تهیه شدند از مارکت های معتبر داخلی ) باز همین مشکل وجود داره .
البته الان توی گوگل انتهای لینک هایی که noindex شدند کلمه feed درج شده.
نمونه : http://www.doman.com/blog/category/%D5%8%D7%22F/feed/
http://www.domain.com/blog/12-%D9%85%D9%88%D8%B1%D8%AF/feed/
نوایندکس بودن این ها مشکلی ایجاد میکنه یا خیر ؟ تاثیر منفی توی سئو و بازدید میزاره ؟
بله صد البته. توی سئو تاثیر داره و نمایش داده نخواهید شد توی نتایج گوگل. از هر سایتی تهیه می کنید حتما تصویر از لایسنس بخواید
سلام اقای حسنی روز بخیر
من حدود 15 روز پیش از یک شرکتی قالب جنه را تهیه کردم و ازش روی وبلاگ سایتمون استفاده کردیم.
با گذشت حدود 15 روز دیروز به صورت ناگهانی توی وبمستر حدود 1000 عدد ایندکسمون حذف شدن. بعد بررسی متوجه شدم همه ایندکس های حذف شده مربوط به tag ها بودن .
بررسی کردم و دیدم توی وبمستر جدید در بخش Status > Index coverage حدود 990 تا Excluded by ‘noindex’ tag ثبت شده.
و توی URL Inspection لینک های حذف شده این موارد را دارند.
Crawl
Last crawl
Jul 30, 2018, 4:56:22 AM
Crawl allowed?
Yes
Page fetch
Successful
Indexing
Indexing allowed?
No: ‘noindex’ detected in ‘X-Robots-Tag’ http header
User-declared canonical
N/A
Google-selected canonical
N/A
شما اطلاع دارید که از کدوم بخش قالب قسمت تگ ها نواندکس شدند ؟ (افزونه یوست سئو رو تست کردم و از سمت افزونه مشکل نبود )
نوایندکس بودن این لینک ها مشکل ساز میشه برامون یا خیر ؟ و اینکه چجوری اینو حل کنیم؟؟
توی فایل robots.txt هم از نوایندکس استفاده نکردیم اصلا.
ممنون میشم راهنمایی کنید.
سلام
ظاهرا noindex بودن ادرس ها و دستکاری شده توی کدنویسی قالب (نال شده) . نسخه اصلی قالب رو خریداری کنید و نصب کنید مشکل حل خواهد شد.
سلام خسته نباشید
ایا نقشه سایت باید با http وارد بشه یا https
سلام
اگر سایتتان https دارد با https ثبت کنید.
سلام
بخش Allow: /wp-content/uploads/ چه کاری می کنه؟ آیا با اضافه کردن این بخش میشه باعث شد وقتی فایلی یا عکسی آپلود می کنیم جداگانه صفحه ای ساخته و ایندکس نشه؟
من از yoast استفاده می کنم و برای page/post/category نقشه های جداگانه گذاشتم مشکلی پیش نمی یاد یا بهتره به این شکل باشه
Sitemap: https://example.com/sitemap_index.xml
ممنون
سلام
۱. این بخش میگه تصاویر سایت رو ایندکس کن
۲. خیر مشکلی پیش نمیاد
سلام ممنون بابت راهنمای من فایل Robots.txt رو داخل public html قرار دادم و این کد هارو بهش اضافه کردم
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
ولی افزونه Yoast به طور اتوماتیک نقشه سایت رو اضافه نکرد
حالا کد بالا که قرا دادین رو که بصورت دستی اضافه کنیم مثل همین متن درست میشه مشکلی نداره
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Sitemap: https://capitankala.com/post-sitemap.xml
Sitemap: https://capitankala.com/page-sitemap.xml
ممنون میشم راهنمایی کنید.
سلام
نقشه سایت توسط yoast خودکار ایجاد میشود به این آدرس : sitemap_index.xml
طبق همین آموزش پیش بروید.
سلام خسته نباشید
1 من در پوشه روت سایتم داخل این پوشه wp-snapshots فایل robots.txt رو دارم ایا باید اینو تغییر بدم
2 یا باید به صورت جداگانه robots.txt رو بسازم و در مسیر خاصی قرار بدم
3 اگر گزینه 1 هستش داخل این فایل این کد وجود داره
User-agent: *
Disallow: /wp-snapshots/
باید کدهای رو که گفتین رو زیر همین کدها قرار بدم یا باید کامل جایگزین شن
ممنون میشم راهنمایی کنید با تشکر
سلام
فایل robots.txt را در public html بسازید. نیاز به کار خاص دیگری نیست. آموزش زیر را هم ببینید :
https://mihanwp.com/robots/
با عرض سلام وخسته نباشید به تیم میهن وردپرس و ممنون از آموزش هایی که میزارین
من یه سوال داشتم
نقشه سایت رو به کدوم حالت باید در روباط قرار بدیم
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
یا
Sitemap: http://www.example.com/sitemap.xml
کدوم حالت بهتره ؟؟؟
سلام
آخرین مورد.
البته اگر از yoast استفاده می کنید ادرس نقشه سایت این میشود :
sitemap_index.xml
سلام
شما در کد دمی که نام بردید Disallow رو به سایت مپ دادید و دسترسی ها رو بستید
گوگل در وب مستر تولز پیام خطا به این امر داده است
لطفا درست مقاله را منتشر کنید
با تشکر
سلام درست می‌فرمایید منظور در کد آخر جای گیری کد سایت مپ بود نه اینکه کد رو توی سایت قرار بدید.
سلام ببخشید من روی دوتا سایت تست کردم الان روشون یوست نصبه ولی هر دو دوخط اخر کد داخلشون نبود و فقط این بود
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
لازمه اون دو خط اخر رو اضافه کنم ؟
درود بله اضافه کنید
سلام – این مطلب خیلی ارزشمندی بود من لذت بردم و اینکه سایتتون هم عالیه خدا قوت <a href=”http://www.battery-etminan.ir/”>.</a><a href=”http://ebattery.mihanblog.com/”>.</a><a href=”http://ebattery.blog.ir/”>.</a>
سلاممن مدتی از طریق فایل robots دسترسی به wp-content مسدود بود ، الان 1هفتس که به همه چیز دسترسی دادم و فقط wp-admin رو بستمکلا از 1800تا عکس من 40تا ایندکس شده اونم قبل از بستن عکسا الان بعد یک هفته حتی تو گوگل ایمیج سرچ میکنم سایتمو هم همین 40تا بیشتر نمیشه و ایندکس نمیشهتو قسمت Fetch as Google بصورت دستی مطلب تازه منتشر شده رو fetch and render رو زدم که عکس نشون میده رباط نمیتونه یکسری عکسها رو ببینهstatus رو زده partial و داخل اون هم همه عکسها و حتی یکسری اسکریپتها و استایهها رو دلیل (reason) زده Temporarily unreachable !!مشکل چی میتونه باشه ؟؟؟1- فایل روباط?!User-agent: *Disallow:Disallow: /wp-admin/Sitemap: …2- افزونه امنیتی دارم wordfence اما تو تنظیمات زده از رباط جلوگیری نشه و حتی تو لایو ویوش نشوون میده رباط ها میان و بلاک نمیشن!3- تنظیماتی تو فایل .htaccess میتونه تاثیر بذاره؟4- مرجعی سایتی چیزی تو خود همین وبمستر هست چک کنه بگه ؟5- از هاست چی؟6- یا فقط نیاز به زمان هست درست بشه؟!
با سلام و خسته نباشیدمی تونم بپرسم شما از چه افزونه ای برای ستاره دار کردن مطالبتون در گوگل استفاده می کنید
سلام افزونه نیست. کد های قالب سایتمون هست
سلام
این فایلو درکجای هاست باید قرار دهیم درکدوم قسمت؟
ومیخام عکسو دروردپرس واسه اسلایدر بزارم چون عکسه کوچیکه کوچک دیده میشه تواسلایدر چجوری یه کاری کنم که تواسلایدر کامل دیده بشه
سلام
فایل رو در پوشه اصلی سایتتون قرار بدید.
در مورد عکس باید به عکس کلاس width:100% بدید تا تمام عرض نشون داده بشه