حل ارور Index Request Rejected در گوگل سرچ کنسول

حتماً برات پیش اومده که رفتی سراغ Google Search Console، بخش Inspect URL، و خواستی ببینی وضعیت ایندکس شدن یه صفحه از سایتت چطوره. آدرس رو وارد می‌کنی، دکمه بررسی رو می‌زنی و منتظری ببینی صفحت توی گوگل ثبت شده یا نه، اما ناگهان با یه ارور عجیب مواجه می‌شی. “Index Request Rejected”.

این پیام یعنی چی؟ چرا گوگل درخواست ما برای ایندکس کردن صفحه رو رد می‌کنه؟ نکنه صفحه‌مون مشکلی داره؟ نکنه سایت جریمه شده؟ اصلاً باید نگران باشیم یا نه؟ واقعاً وقتی گوگل یه صفحه رو ایندکس نکنه، یعنی اون صفحه عملاً توی نتایج جستجو دیده نمی‌شه و خب، این یعنی بازدید کمتر، فروش کمتر و در نهایت ناراحتی بیشتر.

بیاید با هم قدم‌به‌قدم بررسی کنیم که این ارور دقیقاً چی می‌گه، دلیل نمایش اون چیه و چطور می‌تونیم از شرش خلاص بشیم. تا آخر این مقاله همراه من باش تا با هم ریشه‌ی این ارور رو دربیاریم و یه بار برای همیشه حلش کنیم.

ارور Index Request Rejected یعنی چی؟

خب حالا بریم سر اصل ماجرا. وقتی توی سرچ کنسول، آدرس یه صفحه رو وارد می‌کنی و گزینه‌ی “Request Indexing” یا همون درخواست ایندکس شدن رو می‌زنی، انتظار داری گوگل صفحه‌تو بررسی کنه و اونو توی نتایج جستجو قرار بده. اما اگه با ارور “Index Request Rejected” مواجه شدی، یعنی چی؟ یعنی گوگل رسماً درخواستت رو رد کرده! ساده و بی‌رحمانه.

به زبان ساده، این پیام یعنی «درخواست شما برای ایندکس شدن، پذیرفته نشد.» حالا سوال مهم اینه که چرا؟ راستش دلیلش معمولاً خیلی پیچیده و عجیب‌غریب نیست. اتفاقاً توی بیشتر مواقع، یه سری دلایل ساده و منطقی داره که اگه بشناسیمشون، خیلی راحت می‌تونیم مشکل رو حل کنیم. بعضی وقتا اصلاً مشکل از خود صفحست، بعضی وقتا از وضعیت کلی سایت و گاهی هم به تنظیمات گوگل مربوط می‌شه.

اما چیزی که باید بدونی اینه که این ارور به معنی پنالتی شدن سایت نیست، به معنی خراب شدن سئو هم نیست. فقط یعنی گوگل فعلاً صلاح ندیده این صفحه رو ایندکس کنه. حالا ممکنه این تصمیم به خاطر محتوا باشه، ساختار صفحه باشه، یا حتی رفتار قبلی سایتت.

راه‌حلش چیه؟

robots.txt

اولین کاری که بعد از دیدن ارور «Index Request Rejected» باید انجام بدی، اینه که یه سر بزنی به فایل robots.txt سایتت. چون خیلی وقت‌ها دلیل اینکه گوگل صفحه‌تو ایندکس نمی‌کنه، همین فایل کوچولوئه که داره به ربات‌های گوگل می‌گه: «لطفاً این صفحه یا کل سایت رو بررسی نکن!»

برای چک کردنش، وارد کنترل پنل هاستت بشو. حالا فرقی نمی‌کنه که از cPanel استفاده می‌کنی یا DirectAdmin؛ توی هر دو مورد مسیر تقریباً یکسانه. از داخل پنل هاست، وارد بخش File Manager و بعدش پوشه‌ی Public_html شو.

توی این پوشه دنبال فایلی بگرد به اسم robots.txt. اگه پیداش کردی، روش راست کلیک کن و گزینه Edit یا همون ویرایش رو بزن.

تا این‌جا فهمیدیم که فایل robots.txt می‌تونه یکی از دلایل اصلی بروز ارور “Index Request Rejected” باشه. اما خب، فقط بررسیش کافی نیست! اگه این فایل درست تنظیم نشده باشه، عملاً داره جلوی گوگل رو می‌گیره که سایت یا بعضی صفحاتت رو ایندکس کنه.

اگه نمی‌دونی دقیقاً چی باید توی این فایل بنویسی، اصلاً نگران نباش. ما توی یه مقاله‌ی کامل با عنوان فایل robots.txt چیست؟ توی سایت میهن وردپرس، خیلی دقیق و ریز توضیح دادیم که این فایل چیه، چه کاری انجام می‌ده و چطور باید به درستی تنظیمش کنی.

اگه سایتت با https بالا میاد، حتماً توی آدرس سایت‌مپ هم از https:// استفاده کن. این نکته خیلی مهمه. کد بهینه و به‌روزشده به این صورته:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yoursite.com/sitemap_index.xml

نکته: فقط یادت نره به جای yoursite.com آدرس سایت خودتو بذاری.

بعد از اینکه این کد رو جایگزین کردی، فایل robots.txt رو ذخیره کن و دوباره از طریق Google Search Console آدرس صفحه‌ات رو بررسی کن. توی بیشتر مواقع، مشکل همین‌جا حل می‌شه و ارور Index Request Rejected دیگه نشون داده نمی‌شه.

بعد از اینکه فایل robots.txt رو اصلاح کردیم و مطمئن شدیم که دیگه جلوی گوگل رو نمی‌گیره، نوبت می‌رسه به یه تست دوباره. باید برگردیم به Google Search Console و دوباره همون آدرس صفحه‌ای که ارور داده بود رو وارد کنیم و مجدد روی گزینه Request Indexing کلیک کنیم.

اگر گوگل این بار درخواست رو قبول کرد و اروری نداد، یعنی همه‌چی حله و مشکلمون با موفقیت برطرف شده. اما اگه بازم همون ارور “Index Request Rejected” ظاهر شد، یعنی هنوز یه جای کار می‌لنگه و باید بریم سراغ مرحله بعدی بررسی.

برداشتن تیک موتورهای جستجو

توی این مرحله، می‌ریم سراغ پنل مدیریت وردپرس. وارد پیشخوان سایتت شو و اطمینان پیدا کن که افزونه Rank Math رو نصب کردی. اگه هنوز نصب نیست، همین حالا نصب و فعالش کن. بعد از فعال‌سازی، یک مرحله خیلی مهم هست که باید حتماً چک بشه.

از منوی تنظیمات وردپرس، وارد بخش خواندن یا همون Reading Settings شو. توی این قسمت یه گزینه هست که معمولاً خیلی‌ها حواسشون بهش نیست. نوشته که “از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند.” اگه این گزینه تیک خورده باشه، یعنی خودت داری به گوگل می‌گی: «خواهشاً سایت منو ایندکس نکن!»

خب طبیعیه که با این تیک فعال، هیچ صفحه‌ای ایندکس نشه و هر درخواستی هم که بدی رد بشه. پس خیلی مهمه که این تیک رو برداری و حتماً روی ذخیره تغییرات کلیک کنی تا تنظیمات جدید اعمال بشن.

بعد از این مرحله، دوباره می‌تونی به گوگل سرچ کنسول برگردی و درخواست ایندکس رو بفرستی. حالا دیگه گوگل بهونه‌ای برای رد کردن نداره و احتمال خیلی زیاد، درخواستت پذیرفته می‌شه.

تنظیمات Rank Math

حالا که مطمئن شدیم تنظیمات عمومی سایت اوکیه و فایل robots.txt هم درست تنظیم شده، می‌ریم سراغ خود صفحه‌ای که می‌خواستیم ایندکسش کنیم. توی مثال ما، داشتیم صفحه‌ی اصلی سایت رو توی سرچ کنسول تست می‌کردیم، یعنی همون آدرس rezarad.org پس باید تنظیمات سئوی این برگه خاص رو هم بررسی کنیم.

برای این کار، برمی‌گردیم به پیشخوان وردپرس و از منوی سمت راست وارد بخش برگه‌ها می‌شیم. دنبال برگه‌ای بگرد که صفحه‌ی نخست سایتت روش تنظیم شده؛ معمولاً اسمش “خانه” یا “صفحه اصلی” هست. حواست باشه که نباید با المنتور ویرایشش کنی، چون تنظیمات رنک مث توی محیط المنتور نمایش داده نمی‌شن. پس روی ویرایش معمولی وردپرس کلیک کن تا وارد ویرایشگر کلاسیک یا گوتنبرگ بشی.

حالا باید افزونه Rank Math توی این صفحه فعال باشه و تنظیمات سئو رو بهت نشون بده. اگه برای اولین بار وارد می‌شی یا تنظیماتش رو انجام ندادی، ممکنه یه پنجره‌ی راه‌اندازی یا همون Setup Wizard بیاد که می‌تونی فعلاً اون رو Skip کنی. بعدش برگرد به داشبورد و مطمئن شو که افزونه فعاله و تنظیماتش برای برگه‌ها اعمال شده.

حالا دوباره برو توی همون برگه‌ی اصلی و وارد بخش تنظیمات Rank Math توی پایین ویرایشگر بشو. اینجا یه تب با عنوان پیشرفته یا Advanced هست. توی این بخش باید حتماً یه نکته مهم رو بررسی کنی. تنظیمات افزونه‌ی رنک مث رو به صورت کامل توی یه مقاله‌ی جداگونه براتون توضیح دادم که می‌تونید اونو مشاهده کنید.

اگر گزینه‌های noindex و nofollow فعال باشن، یعنی داری به گوگل می‌گی که این صفحه رو ایندکس نکنه یا لینک‌های داخلش رو دنبال نکنه. خب طبیعیه که توی سرچ کنسول درخواست ایندکس رو رد کنه، درسته؟ 😅

پس مطمئن شو که این گزینه‌ها غیرفعال باشن و وضعیت صفحه روی نمایه‌سازی (index) و دنبال کردن (follow) تنظیم شده باشه. بعدش روی بروزرسانی برگه کلیک کن تا تغییرات ذخیره بشن. الان همه‌چی آمادست. می‌تونی دوباره بری گوگل سرچ کنسول و درخواست ایندکس رو بفرستی. اگه همه‌ی این موارد رو درست انجام داده باشی، دیگه نباید اروری ببینی و صفحه‌ت باید به‌راحتی ایندکس بشه.

اگه ارور از بین نرفت چی؟

حالا دوباره برمی‌گردم و یه نگاه دیگه به فایل robots.txt می‌ندازم، فقط برای اینکه مطمئن بشم واقعاً به‌درستی اصلاح شده. وقتی بازش می‌کنم، همه‌چی اوکیه و دقیقاً همون نسخه‌ایه که باید باشه. پس بریم سراغ Google Search Console و دوباره روی دکمه‌ی Request Indexing کلیک می‌کنم تا ببینم این بار چی پیش میاد.

اما خب، ممکنه دوباره همون ارور قبلی رو بده. دلیلش چیه؟ خیلی وقتا این خطا واقعاً به‌خاطر تنظیمات اشتباه نیست، بلکه به خاطر کش (Cache) هست؛ یا کشی که خود گوگل نگه داشته، یا کش سمت سایت خودمون. برای اینکه بفهمیم واقعاً مشکل هنوز هست یا نه، بهترین کار اینه که روی گزینه‌ی View Live Test کلیک کنیم.

این تست زنده باعث می‌شه گوگل به‌جای استفاده از اطلاعات کش‌شده، صفحه رو همون لحظه بررسی کنه و بهمون بگه دقیقاً چه مشکلی هست. مثلاً الان بهم می‌گه که صفحه توسط فایل robots.txt بلاک شده. ولی ما که همین الان اون فایل رو درست کردیم! پس اینجا می‌فهمیم که این پیغام دیگه واقعی نیست و صرفاً بر اساس کش قبلیه.

یه نکته‌ای هم که خودم فراموش کردم این بود که توی فایل robots.txt آدرس سایت رو شخصی‌سازی نکرده بودم و هنوز آدرس yoursite.com داخلش بود. یادتون باشه حتماً آدرس سایت خودتون رو جایگزین کنین؛ مثلاً اگه سایتتون example.com هست، باید توی خط سایت‌مپ هم اون رو بنویسید، نه چیزی دیگه.

حالا دوباره برمی‌گردم، آدرس صفحه رو وارد می‌کنم و یه بار دیگه ریکوئست ایندکس می‌زنم. اگه باز هم ارور داد، دوباره تست زنده می‌زنم. چون مطمئنم خطا واقعاً حل شده و فقط زمان می‌خواد تا گوگل متوجه بشه.

در واقع باید بدونیم که Google Search Console همیشه فایل robots.txt رو به‌صورت لحظه‌ای بررسی نمی‌کنه. ممکنه یه بار بررسیش کنه و تا مدت‌ها از همون نسخه‌ی کش‌شده استفاده کنه. پس راه‌حل چیه؟ خیلی ساده‌ست، یه مقدار صبر کنیم! شاید چند ساعت، شاید نهایتاً تا ۲۴ ساعت. بعد دوباره تست کنیم، احتمالاً دیگه هیچ خطایی نمی‌بینیم.

در نهایت، اگر خطا از robots.txt نبود، ولی باز هم چیزی جلوی ایندکس رو گرفته بود، باید نگاه کنیم ببینیم توی تست زنده چی نوشته. مثلاً اگه گفته بود Blocked by meta tag ‘noindex’، یعنی مشکل از تنظیمات متای صفحه‌مونه، همون چیزی که توی Rank Math یا Yoast سئو مشخص می‌کنیم. اونجا باید مطمئن بشیم که گزینه‌ی noindex غیرفعاله و صفحه برای ایندکس بازه.

صحبت آخر

در نهایت، یه نکته خیلی مهم رو همیشه باید یادمون باشه که قرار نیست همیشه همه خطاها رو بدونیم و از قبل بلد باشیم. گاهی ممکنه با یه اروری روبه‌رو بشیم که تا حالا ندیدیم و دقیقاً ندونیم باید چی‌کار کنیم. تو این جور مواقع بهترین و ساده‌ترین راه اینه که همون متن خطا رو عیناً تو گوگل سرچ کنیم. به‌خدا خیلی وقت‌ها با یه سرچ ساده، جوابش پیدا می‌شه.

همین ارور “Blocked by robots.txt” هم اگه تو گوگل جستجو می‌کردید، به راحتی می‌تونستید بفهمید دلیلش چیه و چطور باید برطرفش کرد. منم همیشه سعی می‌کنم ویدیوهای آموزشی در مورد این ارورها منتشر کنم تا وقتی تو گوگل سرچ می‌کنید، بتونید سریع‌تر به جواب برسید. اما نکته مهم اینه که خودمون جستجوگر باشیم، پشتکار داشته باشیم و دنبال جواب بگردیم.

امیدوارم با خوندن این مقاله، اگه شما هم این ارور رو توی Google Search Console دیدید، تونسته باشید راحت و قدم‌به‌قدم مشکلتون رو حل کنید. اگر این راهکارها براتون مفید بود، حتماً با بقیه هم به اشتراک بذارید. شاد و سربلند باشید. 😊

رضا راد

میلیون‌ها کیلومتر اسکرول کردم تا به هدفم نزدیک بشم و این داستان همچنان ادامه داره...