خطاهای کراول که در سرچ کنسول گوگل مشاهده میکنید، نشاندهنده مشکلاتی هستند که رباتهای گوگل در خزیدن و بررسی محتوای سایت شما با آن روبرو میشوند. این کار باعث میشود گوگل نتواند محتوای شما را بهدرستی بخواند و ایندکس کند و در نتیجه با کاهش ترافیک، افت رتبه و از دست رفتن فرصت فروش روبه رو میشوید. در این مقاله، قدم به قدم همراهتان هستیم تا بفهمید خطاهای کراول سرچ کنسول چیست، چرا رخ میدهند و چگونه آنها را برطرف کنید تا سایتتان به خوبی کار کند.
خطای کراول چیست و چرا در سئو اهمیت دارد؟
خطاهای خزیدن یا همان Crawl Errors در سرچ کنسول، زمانی رخ میدهند که گوگلبات نمیتواند به درستی صفحات سایت شما را بخواند یا ایندکس کند، که میتواند به دلایل فنی مانند مشکلات سرور یا تنظیمات نادرست باشد. برای شروع، باید به پنل سرچ کنسول خود بروید و گزارش Coverage را بررسی کنید. اینجا خطاها به دستههای مختلفی تقسیم شدهاند، از جمله Error و Warning، که هر کدام نشاندهنده سطحی از مشکل هستند. اگر تازهکار هستید، نگران نباشید؛ بسیاری از این خطاها با تغییرات ساده مانند بهروزرسانی فایل robots.txt یا افزایش سرعت سایت قابل حل هستند.
به زبان ساده، خطای Crawl مثل این است که شما آدرس خانهای را در نقشه داشته باشید، اما وقتی به آنجا میرسید یا در بسته است، یا اصلا خانهای در آن آدرس وجود ندارد. اهمیت این خطاها در این است که اگر گوگل نتواند صفحهای را بخواند، آن صفحه هم وارد ایندکس نمیشود و در نتایج جستجو نشان داده نخواهد شد. به همین دلیل خطاهای کراول بهطور مستقیم روی ایندکس شدن محتوا، رتبهگیری صفحات و در نهایت ترافیک ارگانیک سایت تأثیر میگذارند.
به عنوان مثال:
-
اگر محصولی در فروشگاه اینترنتی شما حذف شده باشد ولی هنوز لینک آن در سایت وجود داشته باشد، گوگل با خطای 404 مواجه میشود.
-
اگر سرور شما هنگام درخواست گوگل موقتا قطع شود، خطای 5xx در سرچ کنسول ظاهر خواهد شد.
-
اگر لینک های ورودی یک صفحه زیاد باشد و آن صفحه با دستور
noindexمسدود شده باشد، گوگل آن را بهعنوان خطا ثبت میکند.
بنابراین، رفع این خطاها فقط یک کار فنی نیست، بلکه بخشی اساسی از سلامت سئو سایت محسوب میشود.

نقش سرچ کنسول گوگل در مدیریت Crawl Errors
نقش سرچ کنسول گوگل در مدیریت Crawl Errors
سرچ کنسول در واقع مثل یک پنل پزشکی برای سایت شماست؛ هر مشکلی که گوگل هنگام خزیدن یا ایندکس صفحات با آن مواجه شود، در همین ابزار ثبت میشود. اگر سرچ کنسول نباشد، شما هیچوقت متوجه نمیشوید گوگل چه خطاهایی را در سایت دیده و کدام صفحات از دید او مشکل دارند.
این ابزار خطاهای کراول را در چند بخش اصلی نمایش میدهد:
-
Coverage Report (گزارش پوشش ایندکس)
در این بخش میتوانید ببینید کدام URLها ایندکس شدهاند، کدامها با خطا مواجه شدهاند و کدام صفحات به دلایل مختلف کنار گذاشته شدهاند. خطاهایی مثل 404 Not Found، Redirect Error یا Blocked by robots.txt دقیقا اینجا نمایش داده میشوند. -
Crawl Stats (آمار خزش)
این گزارش به شما نشان میدهد که گوگل چند بار و با چه شدتی سایت شما را بررسی میکند، چه حجمی از داده دانلود میشود و آیا در مسیر دسترسی به سرور مشکلی پیش آمده است یا نه. اگر سرور ضعیف عمل کند یا بارگذاریها کند باشد، آمار Crawl Stats به وضوح این موضوع را منعکس میکند. -
Mobile Usability و Core Web Vitals
خیلی وقتها خطاهای کراول مستقیم در این گزارشها ثبت نمیشوند، اما مشکلات جدی تجربه کاربری (مثل فونتهای بسیار کوچک یا عناصر خیلی نزدیک به هم) میتواند باعث شود گوگل صفحه را بیکیفیت بداند و ایندکس را به تعویق بیندازد. -
Security & Manual Actions
اگر سایت شما دچار هک، بدافزار یا اقدام دستی از طرف گوگل شده باشد، بخشی از صفحات از خزش و ایندکس محروم میشوند. سرچ کنسول این هشدارها را دقیقاً نمایش میدهد تا قبل از اینکه رتبه کل سایتتان ضربه بخورد، مشکل را رفع کنید.
تفاوت خطاهای ایندکس با خطاهای کراول
یکی از اشتباهات رایج بین وبمسترها این است که خطاهای ایندکس (Index Errors) و خطاهای کراول (Crawl Errors) را یکی میدانند، در حالی که این دو مرحله و دو مشکل کاملاً متفاوت هستند.
-
خطاهای کراول (Crawl Errors) زمانی رخ میدهد که ربات گوگل اصلاً نتواند به محتوای صفحه دسترسی پیدا کند. یعنی مشکل در مرحله خواندن و دسترسی است. مثل اینکه پستچی آدرس خانه شما را پیدا نکند یا در باز نشود.
-
مثال: خطای DNS، خطای 5xx سرور، یا 404 Not Found.
-
-
خطاهای ایندکس (Index Errors) زمانی رخ میدهد که گوگل توانسته صفحه را بخواند، اما تصمیم گرفته آن را وارد پایگاه داده خود (ایندکس) نکند. یعنی مشکل در مرحله ذخیرهسازی و نمایش است. مثل اینکه پستچی نامه شما را تحویل بگیرد، ولی اداره پست تصمیم بگیرد آن را در سیستم ثبت نکند.
-
مثال: “Crawled – Currently Not Indexed” یا “Discovered – Currently Not Indexed”.
-
چرا این تفاوت مهم است؟
چون روش رفع این دو دسته خطا فرق دارد:
-
اگر مشکل از خزش باشد، باید سراغ سرور، robots.txt یا لینکسازی بروید.
-
اگر مشکل از ایندکس باشد، باید سراغ کیفیت محتوا، تگهای متا یا سیگنالهای سئو بروید.
پس همیشه وقتی با هشدار قرمز یا زرد در سرچ کنسول مواجه شدید، اول نگاه کنید که آیا مشکل از خزش است یا از ایندکس؛ چون این تشخیص، مسیر رفع خطا را کاملاً تغییر میدهد.

شناسایی خطاهای کراول را در سرچ کنسول
شناسایی خطاهای کراول را در سرچ کنسول
حالا که فهمیدیم مشکل چیست، بیایید ببینیم چطور آن را پیدا کنیم. اول از همه، وارد سرچ کنسول شوید و به بخش Pages بروید. اینجا، وضعیت صفحات را میبینید: Valid, Error, Warning و Excluded. خطاهای کراول اغلب در Error ظاهر میشوند، مثل Server Error (5xx) یا Redirect Error.
برای شناسایی دقیقتر، از ابزارهای کمکی استفاده کنید. مثلاً، Screaming Frog یک ابزار عالی است که سایت را شبیه گوگل کرال میکند و ارورها را لیست میکند. طبق توصیههای Common Places در مقالهشان درباره بروزرسانی ژوئن ۲۰۲۵، ترکیب سرچ کنسول با این ابزارها، بهترین راه برای تشخیص است. اگر تازهکار هستید، نگران نباشید، ما در نیلامارکتینگ، با خدمات سئو به شما کمک میکنیم تا هیچ مشکلی پنهان نماند.
دغدغه رایج این است که “چطور بفهمم کدام خطا مهمتر است؟” اولویت با خطاهای سایتمحور بدهید، چون کل سایت را تحت تأثیر قرار میدهند. مثلاً، اگر خطای DNS ببینید، اول DNS resolver را چک کنید. این کار ساده است و میتواند ساعتها وقت صرفهجویی کند.
ابزارهای ضروری برای تشخیص خطاها
علاوه بر سرچ کنسول، از Google Analytics برای دیدن افت ترافیک استفاده کنید. اگر صفحات خاصی ایندکس نمیشوند، ابزار Fetch as Google (حالا URL Inspection) را امتحان کنید. سایتهایی مثل SERoundtable در ژوئن ۲۰۲۵ گزارش دادند که افت ایندکس از می همان سال، اغلب به دلیل مشکلات کرال بوده – پس زود اقدام کنید.
برای سایتهای وردپرسی، افزونههایی مثل Yoast SEO کمک میکنند تا robots.txt را چک کنید. اگر نیاز به کمک دارید، ما با طراحی وبسابت میتوانیم سایتتان را بررسی کرده و برای بهبود اقدام کنیم.
چگونه خطاهای خزیدن Crawl Errors را در سرچ کنسول برطرف کنم؟
در عمل، ابتدا باید اولویتبندی کنید: خطاهای سایت مانند DNS یا سرور را اول برطرف کنید، زیرا اینها کل سایت را تحت تأثیر قرار میدهند. سپس به خطاهای URL بپردازید، که اغلب با ابزارهایی مانند URL Inspection در سرچ کنسول قابل تست هستند. مثلا افزایش ناگهانی خطاهای “Crawled – Currently Not Indexed”، میتواند به دلیل تغییرات الگوریتم گوگل باشد. در چنین مواردی، محتوای صفحات را بررسی کنید و مطمئن شوید که با استانداردهای کیفیت گوگل همخوانی دارد. این فرآیند نه تنها سایت شما را بهینه میکند، بلکه به بهبود رتبهبندی کلی کمک میرساند. در ادامه برای هر خطای رایج، راهحلهای عملی و تستشده را معرفی میکنیم:
خطاهای کراول مثل موانعی هستند که جلوی رباتهای گوگل (Googlebot) را میگیرند تا سایت شما را درست بخوانند. این خطاها به دو دسته اصلی تقسیم میشوند: خطاهای سایت که کل سایت را درگیر میکنند و خطاهای URL که به صفحات خاص مربوط میشوند. بیایید یکییکی آنها را بررسی کنیم و ببینیم چطور میتوانیم این مشکلات را ریشهکن کنیم.
خطای DNS
دستهبندی: خطاهای سایت (Site Errors) – این خطا به مشکلات کلی دسترسی به دامنه سایت مربوط میشود و کل فرآیند خزیدن را مختل میکند.
راهحل گامبهگام: ابتدا وضعیت DNS را با ابزارهایی مانند Pingdom یا DNS Checker بررسی کنید تا ببینید آیا سرور DNS پاسخ میدهد یا نه. سپس، در پنل هاستینگ (مانند cPanel) رکوردهای DNS را چک کنید و مطمئن شوید تنظیمات A، CNAME یا NS درست هستند. اگر مشکل ادامه داشت، با پشتیبانی هاستینگ (مانند میزبانفا یا ایرانسرور) تماس بگیرید و درخواست بررسی کنید. در نهایت، پس از رفع، از ابزار URL Inspection در سرچ کنسول استفاده کنید تا مطمئن شوید گوگل دوباره سایت را میبیند. این فرآیند معمولاً ۲۴ تا ۷۲ ساعت زمان میبرد تا تغییرات اعمال شود.
خطای سرور (۵xx)
دستهبندی: خطاهای سایت (Site Errors) – این خطا نشاندهنده مشکلات سرور است و دسترسی به کل سایت را تحت تأثیر قرار میدهد.
راهحل گامبهگام: لاگهای سرور را در پنل هاستینگ بررسی کنید تا علت دقیق (مانند کمبود منابع یا خطای داخلی) را پیدا کنید. سپس، منابع سرور مانند RAM یا CPU را افزایش دهید یا به هاست قویتر مهاجرت کنید. اگر سایت وردپرسی است، افزونه کش مانند WP Rocket نصب کنید تا بار سرور کم شود. در نهایت، از CDN مانند Cloudflare استفاده کنید و پس از تغییرات، گزارش Crawl Stats سرچ کنسول را چک کنید تا ببینید نرخ خزیدن بهبود یافته است. اگر مشکل فنی پیچیده بود، از یک متخصص کمک بگیرید.
خطای Robots Failure
دستهبندی: خطاهای سایت (Site Errors) – این خطا به فایل robots.txt مربوط میشود که دسترسی کلی رباتهای گوگل را کنترل میکند.
راهحل گامبهگام: آدرس site.com/robots.txt را در مرورگر وارد کنید تا ببینید فایل وجود دارد یا نه. اگر نبود، فایل جدیدی در ریشه سایت آپلود کنید و دستورات پایه مانند User-agent: * و Allow: / را اضافه کنید. سپس، دستورات Disallow را بررسی کنید تا صفحات مهم مسدود نشده باشند. در نهایت، با ابزار Robots.txt Tester در سرچ کنسول فایل را تست کنید و اگر لازم بود، تغییرات را ذخیره کنید. این کار بودجه خزیدن سایت را بهینه میکند.
خطای ۴۰۴ Not Found
دستهبندی: خطاهای URL – این خطا فقط به یک صفحه خاص مربوط میشود و دسترسی به سایر بخشها را مختل نمیکند.
راهحل گامبهگام: با ابزار Broken Link Checker لینکهای شکسته را پیدا کنید. سپس، اگر صفحه حذفشده بود، ریدایرکت ۳۰۱ به صفحه مشابه ایجاد کنید (مثلاً با افزونه Redirection در وردپرس). اگر صفحه باید وجود داشته باشد، محتوای آن را بازسازی کنید. در نهایت، صفحه ۴۰۴ سفارشی بسازید که کاربر را به صفحات مرتبط هدایت کند و از URL Inspection درخواست ایندکس مجدد بدهید. این خطا را هفتگی چک کنید تا تکرار نشود.
خطای Soft ۴۰۴
دستهبندی: خطاهای URL – این خطا به صفحات خاصی اشاره دارد که محتوایشان ناکافی است.
راهحل گامبهگام: محتوای صفحه را بررسی کنید و اگر خالی یا کم بود، متن، تصویر یا ویدئو مرتبط اضافه کنید. سپس، اگر صفحه ارزشی ندارد، ریدایرکت ۳۰۱ به صفحه اصلی ایجاد کنید. اگر صفحه نباید ایندکس شود، تگ noindex اضافه کنید. در نهایت، با ابزار URL Inspection صفحه را تست کنید و درخواست ایندکس بدهید. در سایتهای وردپرسی، صفحات دستهبندی خالی را با افزونه Yoast مدیریت کنید.
خطای ۴۰۳ Forbidden
دستهبندی: خطاهای URL – این خطا دسترسی به صفحه خاص را محدود میکند.
راهحل گامبهگام: تنظیمات فایل .htaccess یا افزونههای امنیتی مانند Wordfence را چک کنید تا IP گوگل مسدود نشده باشد. سپس، سطح دسترسی فایلها (Permissions) را به ۶۴۴ برای فایلها و ۷۵۵ برای پوشهها تنظیم کنید. اگر مشکل ادامه داشت، با هاستینگ هماهنگ شوید. در نهایت، صفحه را با URL Inspection تست کنید تا مطمئن شوید دسترسی باز شده است.
خطای ۴۰۱ Unauthorized
دستهبندی: خطاهای URL – این خطا نیاز به احراز هویت برای صفحه خاص دارد.
راهحل گامبهگام: اگر صفحه عمومی است، نیاز به لاگین یا رمز عبور را بردارید. سپس، اگر صفحه محرمانه است، تگ noindex اضافه کنید تا گوگل آن را ایندکس نکند. تنظیمات سرور را بررسی کنید تا خطای احراز هویت رفع شود. در نهایت، با URL Inspection صفحه را تست کنید و اگر لازم بود، درخواست ایندکس بدهید.
خطای Redirect Errors
دستهبندی: خطاهای URL – این خطا به ارجاعهای نادرست در صفحه خاص مربوط میشود.
راهحل گامبهگام: با ابزار Redirect Checker زنجیره ریدایرکت را بررسی کنید. سپس، ریدایرکتها را به صورت مستقیم با کد ۳۰۱ تنظیم کنید و حلقههای ریدایرکت را حذف کنید. اگر سایت وردپرسی است، از افزونه Redirection استفاده کنید. در نهایت، صفحه را با URL Inspection تست کنید تا مطمئن شوید مسیر درست است.
خطای Blocked by robots.txt
دستهبندی: خطاهای ایندکس و سیگنالهای متا – این خطا دسترسی رباتها را به صفحه خاص مسدود میکند.
راهحل گامبهگام: فایل robots.txt را بررسی کنید و دستورات Disallow مربوط به صفحه را حذف کنید. سپس، فایل را ذخیره کنید و با Robots.txt Tester تست کنید. اگر صفحه باید ایندکس شود، تغییرات را اعمال کنید. در نهایت، درخواست ایندکس مجدد بدهید تا گوگل صفحه را دوباره بررسی کند.
خطای Excluded by ‘noindex’ Tag
دستهبندی: خطاهای ایندکس و سیگنالهای متا – این خطا صفحه را از ایندکس خارج میکند.
راهحل گامبهگام: کد صفحه یا تنظیمات افزونه مانند Yoast را چک کنید و تگ noindex را حذف کنید. سپس، اگر صفحه باید ایندکس شود، تغییرات را ذخیره کنید. در نهایت، با URL Inspection درخواست ایندکس بدهید و منتظر تأیید گوگل باشید.
خطای Duplicate without User-Selected Canonical
دستهبندی: خطاهای ایندکس و سیگنالهای متا – این خطا به محتوای تکراری بدون تعیین اصلی مربوط میشود.
راهحل گامبهگام: تگ canonical را به صفحه اصلی اضافه کنید. سپس، محتوای تکراری را حذف یا متفاوت کنید. اگر سایت وردپرسی است، با Yoast canonical را تنظیم کنید. در نهایت، گزارش Coverage را چک کنید تا ببینید خطا برطرف شده است.
خطای Crawled – Currently Not Indexed
دستهبندی: خطاهای ایندکس و سیگنالهای متا – این خطا نشاندهنده عدم ایندکس پس از خزیدن است.
راهحل گامبهگام: محتوای صفحه را بهبود ببخشید و با استانداردهای E-E-A-T همخوانی دهید. سپس، نقشه سایت را آپدیت کنید. در نهایت، با URL Inspection درخواست ایندکس بدهید و منتظر باشید.
خطای Discovered – Currently Not Indexed
دستهبندی: خطاهای ایندکس و سیگنالهای متا – این خطا به کشف لینک بدون خزیدن اشاره دارد.
راهحل گامبهگام: لینکهای داخلی به صفحه اضافه کنید تا گوگل ترغیب شود. سپس، محتوای صفحه را غنی کنید. در نهایت، sitemap را بروزرسانی کنید و درخواست ایندکس بدهید.
فونت خیلی کوچک است و خوانده نمیشود
دستهبندی: خطاهای تجربه کاربری (User Experience Errors) – این خطا به خوانایی در موبایل مربوط میشود.
راهحل گامبهگام: اندازه فونت را در CSS به حداقل ۱۶ پیکسل برسانید. سپس، صفحه را با ابزار Mobile-Friendly Test گوگل تست کنید. در نهایت، تغییرات را ذخیره کنید و گزارش Mobile Usability را چک کنید.
عناصر صفحه خیلی به هم نزدیک هستند
دستهبندی: خطاهای تجربه کاربری (User Experience Errors) – این خطا به فاصله عناصر در موبایل اشاره دارد.
راهحل گامبهگام: فاصله بین دکمهها و لینکها را در CSS افزایش دهید. سپس، صفحه را با ابزارهای تست موبایل بررسی کنید. در نهایت، تغییرات را اعمال کنید و سرچ کنسول را چک کنید.

بررسی گزارش Mobile Usability
عرض محتوا از صفحه موبایل بزرگتر است
دستهبندی: خطاهای تجربه کاربری (User Experience Errors) – این خطا به طراحی ریسپانسیو مربوط میشود.
راهحل گامبهگام: از مدیا کوئریها در CSS برای ریسپانسیو کردن محتوا استفاده کنید. سپس، صفحه را تست کنید. در نهایت، گزارش Mobile Usability را بررسی کنید.
Viewport تنظیم نشده یا اشتباه است
دستهبندی: خطاهای تجربه کاربری (User Experience Errors) – این خطا به تنظیم ویوپورت موبایل مربوط میشود.
راهحل گامبهگام: تگ <meta name=”viewport” content=”width=device-width, initial-scale=1″> را به هدر اضافه کنید. سپس، صفحه را تست کنید. در نهایت، تغییرات را ذخیره کنید و سرچ کنسول را چک کنید.
خطاهای امنیتی و دستی (Security & Manual Actions)
دستهبندی: خطاهای امنیتی و دستی – این خطا به مسائل امنیتی یا جریمههای دستی اشاره دارد.
راهحل گامبهگام: سایت را با Sucuri اسکن کنید و بدافزارها را حذف کنید. سپس، برای Manual Actions، مشکل را رفع کنید و درخواست بازنگری بدهید. در نهایت، SSL را چک کنید و گزارش Security Issues را بررسی کنید.
خطاهای محتوای چندرسانهای (Video & Media Issues)
دستهبندی: خطاهای محتوای چندرسانهای – این خطا به ویدئوها و رسانهها مربوط میشود.
راهحل گامبهگام: مطمئن شوید ویدئو محتوای اصلی صفحه است. سپس، از فرمت MP4 استفاده کنید و اسکیما VideoObject اضافه کنید. در نهایت، گزارش Video Indexing را چک کنید.
پیشگیری از خطاهای کراول در آینده
رفع خطا خوب است، اما پیشگیری بهتر. سایتمپ را بهروز نگه دارید و در سرچ کنسول ثبت کنید. بودجه کرال را با حذف صفحات کمارزش مدیریت کنید. مانیتورینگ منظم با ابزارهایی مثل Ahrefs ضروری است. بعد از رفع خطاها، حتماً گزارش Coverage سرچ کنسول را هفتهای یکبار چک کنید. اگر تعداد خطاها زیاد است یا حس میکنید نیاز به کمک حرفهای دارید، تیم خدمات دیجیتال مارکتینگ نیلامارکتینگ میتواند سایت شما را تحلیل و بهینه کند. همچنین، برای بهبود کلی سئو، مقاله Google E-E-A-T چیست را بخوانید تا محتوای باکیفیتتری تولید کنید.
نتیجهگیری
خلاصه اینکه، خطاهای کراول سرچ کنسول میتوانند سایت شما را از پتانسیل واقعیاش دور کنند، اما با شناسایی بهموقع و رفع گامبهگام، میتوانید ترافیک را افزایش دهید، ایندکس صفحات را بهبود ببخشید و در نتایج گوگل بدرخشید. از افت ایندکس در می ۲۰۲۵ گرفته تا بروزرسانیهای هسته ژوئن، همه نشان میدهند که گوگل به سایتهای سالم پاداش میدهد. اگر با این مشکلات دست و پنجه نرم میکنید، نیازی نیست تنها باشید.
ما در نیلامارکتینگ، با تیمی از متخصصین سئو، طراحان سایت و کمپین منیجرها، آمادهایم تا سایتتان را بررسی کنیم و راهحلهای شخصی ارائه دهیم. همین حالا برای مشاوره رایگان با ما تماس بگیرید!
سوالات متداول درباره رفع خطاهای کراول سرچ کنسول
خطای 404 چقدر به سئو آسیب میزند؟
زیاد، چون لینکهای شکسته تجربه کاربر را خراب میکند. سریع ریدایرکت کنید.
چقدر طول میکشد تا گوگل تغییرات را ببیند؟
معمولاً ۱-۲ هفته، اما با URL Inspection سریعتر.
آیا ابزار رایگان برای چک کرال وجود دارد؟
بله، سرچ کنسول و Screaming Frog نسخه رایگان دارند.
اگر خطای DNS داشته باشم، چه کنم؟
DNS provider را چک کنید و از ابزارهای آنلاین استفاده کنید.
تأثیر Core Web Vitals روی کرال چیست؟
ضعیف بودن آنها میتواند نرخ کرال را کاهش دهد.