آشنایی با بخش‌های مختلف گزارش URL Inspection

گزارشی که ابزار URL Inspection ارائه می‌دهد، اطلاعات جذاب و ارزشمندی را در چندین بخش اصلی دسته‌بندی کرده است:

Presence on Google (وضعیت حضور در گوگل):

این اولین بخشی است که در گزارش می‌بینید و نشان می‌دهد وضعیت فعلی صفحه شما از نظر حضور در نتایج گوگل چگونه است. این بخش پیام‌های مختلفی می‌تواند داشته باشد:

• URL is on Google: تیک سبز رنگ کنار این پیام یعنی صفحه شما ایندکس شده و واجد شرایط حضور در نتایج جستجوی گوگل است. مهم: این پیغام به این معنی نیست که صفحه شما قطعاً در نتایج ظاهر می‌شود یا رتبه خوبی دارد، فقط یعنی از نظر فنی مشکلی برای ایندکس شدن و نمایش ندارد. اگر صفحه با این وضعیت در جستجوها پیدا نمی‌شود، ممکن است جریمه دستی (Manual Action) شده باشید یا محتوای آن نیاز به بهبود یا لینک‌سازی داخلی و خارجی برای تقویت اعتبار (Content Authority) داشته باشد.
• URL is on Google, but has issues: یعنی صفحه شما ایندکس شده و می‌تواند در نتایج نمایش داده شود، اما گوگل مشکلاتی در بخش “Enhancements” آن پیدا کرده است (مثلاً در مورد موبایل فرندلی بودن، یا کدهای اسکیما – Schema). این مشکلات ممکن است باعث شوند صفحه شما در نتایج خاصی (مثل نتایج غنی یا Rich Results) به درستی نمایش داده نشود و باید سریعاً به آن‌ها رسیدگی کنید.
• URL is not on Google: این پیام یعنی صفحه شما در نتایج گوگل نمایش داده نمی‌شود. دو دلیل اصلی برای این وضعیت وجود دارد: گوگل هنوز صفحه شما را پیدا نکرده یا بررسی نکرده است. در این حالت می‌توانید با دکمه “Request Indexing” درخواست ایندکس دستی بدهید. گوگل صفحه را بررسی کرده اما تشخیص داده که شما قصد ایندکس کردن آن را نداشته‌اید. این معمولاً زمانی اتفاق می‌افتد که صفحه توسط فایلtxt مسدود شده باشد، تگ noindex داشته باشد، یا با رمز عبور محافظت شده باشد. در این حالت، حتی اگر درخواست ایندکس بدهید، احتمالاً با خطای “Indexing request rejected” روبرو می‌شوید.
• URL is not on Google: Indexing errors: این پیام نشان می‌دهد که گوگل به دلیل یک یا چند خطای حیاتی، قادر به خزش (crawl) و ایندکس کردن صفحه شما نیست. رایج‌ترین دلایل این خطا، کدهای وضعیت HTTP ارور مثل 4xx (صفحه پیدا نشد) یا 5xx (مشکل سرور) هستند. تا زمانی که این خطاها برطرف نشوند، صفحه ایندکس نخواهد شد. اطلاعات بیشتر درباره این خطاها را می‌توانید در بخش Coverage/Page Indexing پیدا کنید.
• URL is an alternate version: این پیام یعنی آدرس وارد شده، نسخه جایگزین (Alternate) یک صفحه دیگر است. این حالت معمولاً برای صفحات AMP یا نسخه‌های موبایل/دسکتاپ جداگانه اتفاق می‌افتد و به معنی ریدایرکت شدن نیست. این نسخه‌ها می‌توانند در نتایج جستجوی مناسب (مثلاً نسخه موبایل در جستجوهای موبایل) نمایش داده شوند و معمولاً نیازی به اقدام خاصی از طرف شما نیست. گوگل ممکن است آدرس صفحه اصلی (Canonical URL) را در این بخش نمایش دهد.

View Crawled Page (مشاهده صفحه خزش شده):

ر زیر بخش Presence on Google، گزینه‌ای به نام “View Crawled Page” قرار دارد. با کلیک روی آن، می‌توانید صفحه را همانطور که ربات گوگل (Googlebot) آخرین بار آن را دیده است، مشاهده کنید. این بخش سه تب دارد:

1. • HTML: کدهای HTML رندر شده صفحه را نمایش می‌دهد. این برای بررسی وجود تگ‌های مهم مثل تگ کنونیکال (Canonical)، تگ‌های noindex و اطمینان از اینکه محتوای اصلی شما در کد قابل دیدن است، بسیار مفید است.
   • Screenshot: اسکرین‌شات صفحه را نمایش می‌دهد، اما فقط بعد از اجرای “Test Live URL”. با زدن دکمه Test Live URL که در این تب هم قرار دارد، می‌توانید ببینید صفحه شما در حال حاضر از نظر ظاهری برای ربات گوگل چگونه است.
   • More Info (اطلاعات بیشتر): جزئیات فنی‌تری را ارائه می‌دهد:
     • Page Type: نوع محتوای صفحه را نشان می‌دهد (مثل text/html یا application/pdf).
     • HTTP response: کد وضعیت HTTP صفحه را نمایش می‌دهد (مثل 200 OK برای صفحات سالم، 404 Not Found برای صفحات حذف شده). این برای عیب‌یابی خطاهایی مثل 4xx و 5xx حیاتی است.
     • Page resources: منابعی که صفحه شما برای بارگذاری نیاز دارد (مثل فایل‌های JavaScript, CSS و فونت‌ها) را لیست می‌کند. این به شما کمک می‌کند بفهمید آیا منابع مهمی توسط robots.txt مسدود شده‌اند که گوگل نتواند آن‌ها را ببیند (Page fetch failure).
     • JavaScript console messages: پیام‌های کنسول جاوا اسکریپت را نشان می‌دهد، فقط در تست زنده.

Request Indexing (درخواست ایندکس):

این دکمه که در کنار View Crawled Page قرار دارد، به شما اجازه می‌دهد از گوگل بخواهید صفحه مورد نظر را بررسی کرده و در صورت امکان، ایندکس کند. این قابلیت به خصوص زمانی مفید است که:

• • یک صفحه جدید منتشر کرده‌اید و می‌خواهید زودتر ایندکس شود.
  • محتوای یک صفحه مهم را به‌روزرسانی کرده‌اید و می‌خواهید گوگل از تغییرات جدید مطلع شود.
  • مشکلی که باعث عدم ایندکس شدن صفحه می‌شد (مثلاً خطای 404، تگ noindex، مسدود شدن توسط robots.txt) را برطرف کرده‌اید و حالا می‌خواهید گوگل دوباره آن را بررسی کند.
  • صفحه با پیغام “URL is not on Google” نمایش داده می‌شود، اما شما اطمینان دارید که مشکل فنی (مثل noindex یا robots.txt) ندارد.

بعد از زدن این دکمه، گوگل صفحه شما را به صف خزش اضافه می‌کند. این فرآیند ممکن است چند دقیقه طول بکشد تا درخواست شما ثبت شود و ربات‌های گوگل صفحه را بررسی کنند. مهم: ارسال درخواست‌های مکرر برای یک صفحه تأثیری در سرعت یا اولویت آن در صف خزش ندارد و شما در طول روز تعداد محدودی (حدود ۱۰ تا ۱۲) درخواست ایندکس دستی می‌توانید ارسال کنید. برای ایندکس کردن تعداد زیادی صفحه، بهتر است از طریق نقشه‌سایت (Sitemaps) اقدام کنید.

Page Indexing (وضعیت ایندکس صفحه):

این بخش (که در نسخه‌های قدیمی‌تر سرچ کنسول با نام Coverage شناخته می‌شد) جزئیات فنی‌تری درباره فرآیند خزش و ایندکس شدن صفحه ارائه می‌دهد. گوگل برای ایندکس کردن، سه مرحله اصلی را طی می‌کند: کشف (Discovery)، خزش (Crawl) و ایندکس (Indexing). این بخش اطلاعات مربوط به هر یک از این مراحل را برای URL مورد نظر شما نمایش می‌دهد:

• • Discovery (کشف): نشان می‌دهد گوگل چگونه این آدرس را کشف کرده است.
    • Sitemaps: آیا URL در نقشه‌ سایت شما وجود دارد و از آن طریق کشف شده است؟ اگر N/A باشد، ممکن است URL در سایت‌مپی نباشد یا سایت‌مپ به سرچ کنسول معرفی نشده باشد. (برای مطالعه بیشتر، مقاله نقشه‌سایت چیست؟ می‌تواند مفید باشد.)
    • Referring Page: صفحاتی که گوگل از طریق آن‌ها به این URL رسیده است (مثلاً صفحاتی که به آن لینک داده‌اند یا صفحه کنونیکال آن بوده‌اند). عبارت “URL might be known from other sources…” یعنی گوگل آدرس را از روش‌های دیگری (غیر از نقشه‌سایت یا لینک‌های ارجاعی که گزارش شده‌اند، مثلاً از شبکه‌های اجتماعی) پیدا کرده است.
  • Crawl (خزش): اطلاعات مربوط به آخرین باری که ربات گوگل سعی کرده صفحه را بررسی کند.
    • Last crawl: تاریخ و زمان آخرین خزش موفق یا ناموفق.
    • Crawled as: نوع ربات گوگل که صفحه را خزش کرده است (معمولاً Googlebot smartphone به دلیل Mobile-first indexing).
    • Crawl allowed? آیا ربات گوگل اجازه خزش این صفحه را داشته است؟ اگر “No” باشد، به دلیل مسدود شدن در robots.txt یا مشکل دسترسی بوده است.
    • Page fetch: آیا ربات گوگل توانسته محتوای صفحه را از سرور دریافت کند؟ وضعیت “Successful” یعنی موفقیت، “failure” یعنی شکست (دلیل خلاصه آن نیز ذکر می‌شود).
    • Indexing allowed? آیا این صفحه اجازه ایندکس شدن را دارد؟ اگر “No” باشد، معمولاً به دلیل وجود تگ noindex در متا تگ‌ها یا هدر HTTP است.
  • Indexing (ایندکس): وضعیت نهایی ایندکس صفحه و اطلاعات مربوط به آدرس کنونیکال.
    • User-declared canonical: اگر شما آدرس کنونیکالی برای این صفحه مشخص کرده باشید (با تگ <link rel=”canonical”>)، اینجا نمایش داده می‌شود. (برای آشنایی بیشتر می‌توانید مقاله تگ کنونیکال چیست؟ را مطالعه کنید).
    • Google-selected canonical: آدرسی که گوگل با توجه به تحلیل خود، به عنوان آدرس اصلی (Canonical) برای این صفحه در نظر گرفته است. گاهی ممکن است گوگل آدرسی متفاوت با آدرس اعلام شده توسط شما را انتخاب کند. این موضوع در بحث “همنوع‌خواری کلمات کلیدی” (Keyword Cannibalization) اهمیت دارد. اما چرا گوگل ممکن است چنین تصمیمی بگیرد و آدرس کنونیکال متفاوتی را نسبت به آنچه شما صراحتاً (User-declared canonical) اعلام کرده‌اید، انتخاب کند؟ دلایل متعددی می‌تواند پشت این انتخاب باشد. به عنوان مثال:

سیگنال‌های قوی‌تر: گوگل ممکن است سیگنال‌های قوی‌تری (مانند تعداد و کیفیت لینک‌های داخلی و خارجی، محتوای واضح‌تر یا ساختار بهتر) به سمت یک URL دیگر با محتوای بسیار مشابه یا یکسان در سایت شما پیدا کند.

محتوای تکراری یا بسیار مشابه: اگر تشخیص دهد که محتوای صفحه فعلی به طور قابل توجهی با صفحه دیگری در سایت شما همپوشانی دارد (محتوای تکراری یا بسیار نزدیک)، ممکن است آن صفحه دیگر را به عنوان نسخه اصلی و معتبرتر در نظر بگیرد.

پیکربندی‌های فنی: گاهی اوقات تنظیمات ریدایرکت، پارامترهای URL یا حتی مشکلات در فایل sitemap.xml می‌توانند گوگل را به سمت انتخاب یک کنونیکال متفاوت سوق دهند. درک این انتخاب گوگل به شما کمک می‌کند تا استراتژی محتوا، ساختار سایت و لینک‌سازی داخلی خود را بازبینی و بهینه‌تر کرده و از مشکلاتی مانند ‘همنوع‌خواری کلمات کلیدی’ (Keyword Cannibalization) که به آن اشاره شد، و همچنین رقیق شدن ارزش صفحات (Link Equity Dilution) جلوگیری کنید یا آن‌ها را برطرف نمایید.

Enhancements (بهبودها):

این بخش به بررسی امکان نمایش صفحه شما با ویژگی‌های خاص در نتایج گوگل می‌پردازد. این بخش وضعیت موارد زیر را نشان می‌دهد:

• • Mobile Usability: آیا صفحه شما برای نمایش در دستگاه‌های موبایل بهینه و کاربرپسند است؟
  • Rich Results: آیا از داده‌های ساختاریافته (Structured Data) مثل اسکیما (Schema) برای نمایش نتایج غنی (Rich Results) استفاده کرده‌اید؟ این بخش صحت و وجود اسکیمای استفاده شده (مثل FAQ – سوالات متداول، Review snippets – نظرات کاربران، Product – محصول و …) را بررسی و خطاهای احتمالی را گزارش می‌دهد. این خطاها می‌توانند باعث نمایش پیام “URL is on Google, but has issues” شوند.

نکته دیگری که در استفاده از اطلاعات بخش ایندکس گوگل (Google Index) باید در نظر داشته باشید، این است که این داده‌ها، هرچند بسیار ارزشمند و اغلب دقیق هستند، اما ممکن است همیشه بازتاب‌دهنده وضعیت کاملاً آنی و لحظه‌ای صفحه شما نباشند. گاهی اوقات، به‌خصوص پس از اعمال تغییرات گسترده در سایت یا برای وب‌سایت‌های بسیار بزرگ، یک تأخیر زمانی طبیعی بین خزش و ایندکس واقعی یک صفحه توسط ربات‌های گوگل و به‌روزرسانی نهایی این اطلاعات در سرچ کنسول وجود دارد. اینجاست که قابلیت “Test Live URL” اهمیت دوچندان پیدا می‌کند، چرا که به شما این امکان را می‌دهد تا فارغ از آخرین تاریخ به‌روزرسانی داده‌های ایندکس شده، وضعیت فعلی و زنده صفحه را مستقیماً از دید گوگل و در همان لحظه ارزیابی کنید.