ایندکس کردن گوگل چه فرآیندی دارد؟

جدیدترین گزارش منتشر شده در سال 2021 نشان می‌دهد که گوگل بیش از 86 درصد از کل ترافیک جستجو را در اختیار دارد و این نشان می‌دهد که گوگل همه موتورهای جستجوی دیگر را شکست داده است! بنابراین‌، به عنوان یک صاحب وب سایت‌، نادیده گرفتن Google قطعاً ایده خوبی نیست. گوگل پلتفرمی ‌است که مخاطبان مورد نظر شما بیشتر از آن استفاده می‌کنند. اما قبل از همه اینها‌، گوگل باید صفحات شما را ایندکس کند. چگونه می‌توانید URL‌های خود را به Google ارسال کنید تا در اسرع وقت این صفحات را ایندکس کند؟ این مقاله فقط در مورد نحوه ایندکس کردن گوگل خواهد پرداخت.

چرا ایندکس کردن صفحه مهم است؟

اگر صفحات وب شما در Google ایندکس نشوند‌، در نتایج جستجو قابل مشاهده نخواهد بود. بنابراین‌، حتی اگر سایت خود را به طور مرتب با پست‌ها و مقالات جدید به روز رسانی کنید، در صورت عدم ایندکس کردن ‌، افراد نمی‌توانند محتوای شما را پیدا کنند حتی اگر با عبارت جستجوی آنها مطابقت داشته باشد. این به معنی عدم بهبود ترافیک است و در نتیجه‌، بازدید سایت کاهش می‌یابد.

چگونه آدرس اینترنتی خود را به Google ارسال کنیم؟

آیا نمی‌توانید صفحات را در گوگل پیدا کنید؟ شما قطعا دوست ندارید این اتفاق بیفتد. جای نگرانی نیست چون اکثر سایت‌های جدید با همین مشکل روبرو هستند. اما این مشکل راه حل‌های ساده‌ای دارد. این دقیقاً همان چیزی است که در این مقاله به آن خواهیم پرداخت. دو روش آسان برای ارسال URL به Google وجود دارد.

• استفاده از نقشه‌های سایت

• و درخواست از ابزارهای خزنده گوگل

استفاده از نقشه‌های سایت برای ارسال URL به Google

یکی از رایج ترین روش‌ها برای ارسال URL به Google استفاده از نقشه سایت است. از زمان معرفی کنسول جستجو‌، گوگل از مدیران وب درخواست کرده است که نقشه سایت را برای ایندکس کردن و قابلیت پیمایش سایتشان توسط ربات‌های خزنده به شکل بهتر ارسال کنند. یک نقشه سایت می‌تواند با استفاده از سه فرمت مختلف ایجاد شود:

• نقشه‌های سایت XML: فرمت XML یکی از رایج ترین فرمت‌ها برای ایجاد نقشه سایت است. XML مخفف Extended Markup Language است و ایجاد آن آسان است. شما حتی برای انجام این کار به کمک متخصص احتیاج ندارید.

اگر از وب سایت در قالب وردپرس استفاده می‌کنید‌، تنها کاری که باید انجام دهید نصب افزونه Yoast SEO است.

این افزونه به طور خودکار یک نقشه سایت بدون خطا با همه آدرس‌های اینترنتی که برای ایندکس کردن به Google به آن‌ها نیاز دارید را ایجاد می‌کند. در صورت عدم تمایل به انجام این کار‌، می‌توانید از هر یک از ابزارهای ایجاد نقشه سایت آنلاین برای اینکار استفاده کنید. کافیست نقشه سایت را روی سرور خود بارگذاری کنید و تمام!

نقشه‌های سایت RSS‌، mRSS و Atom 1.0

اگر شما صاحب سایتی هستید که هر روز محتوای زیادی به آن اضافه می‌شود‌، بهترین فرمت برای شما این خواهد بود. فقط RSS feeds را در وب سایت خود فعال کنید و URL را به نقشه سایت Search Console ارسال کنید.

ناشران Google News هم اکنون از این روش استفاده می‌کنند. گوگل از ناشران و توسعه دهندگان محتوا در وب می‌خواهد RSS های پشتیبان  URL را در News Publisher Central ارسال کنند تا صفحات به محض فعال شدن ایندکس شوند.

نقشه‌های سایت متن ساده

این احتمالاً ساده ترین راه برای ارسال URL‌های شما به Google برای ایندکس کردن است. فقط باید یک فایل با فرمت .txt با هر نشانی اینترنتی که می‌خواهید ایندکس کنید را ایجاد کنید. اطمینان حاصل کنید که فقط یک URL در هر خط اضافه می‌کنید.

پس از در اختیار داشتن همه URL‌ها‌، آن را در قسمت نقشه سایت سرچ کنسول جستجو ارسال کنید. هنگام ایجاد نقشه سایت متن ساده خود‌، این موارد را در نظر داشته باشید. هنگام ذخیره فایل‌، از کدگذاری UTF-8 استفاده کنید. اطمینان حاصل کنید که چیزی غیر از URL‌های موجود در فایل وجود ندارد. هیچ محدودیتی در مورد نام فایل وجود ندارد. ولی، اطمینان حاصل کنید که پسوند .txt باشد.

انواع مختلف افزونه‌های نقشه سایت

درخواست از ربات‌های خزنده گوگل برای ارسال URL: گوگل نسبت به مدیران وب سایت‌ها سخاوتمند بوده است. البته این سخاوت دلیل دارد زیرا کل موتور جستجو بر اساس کیفیت صفحاتی دارندگان سایت آن‌ها را توسعه داده و  به Google ارسال می‌کنند، کار می‌کند. به همین دلیل Google علاوه بر نقشه‌های سایت گزینه دیگری نیز دارد تا بتوانید آدرس‌های اینترنتی را ارسال کنید که آن درخواست از خزنده‌هاست.

گزینه درخواست از خزنده درخواست برای نقشه سایت نیست. با این حال‌، اگر می‌خواهید ایندکس کردن سریع URL را انجام دهید‌، این ویژگی Google بسیار مفید است. در نسخه قبلی Search Console‌، این ویژگی تحت عنوان Fetch نامگذاری شده بود‌، اما در نسخه جدید‌، گوگل پیشرفت‌های چشمگیری داشته است.

کنسول جستجوی جدید گوگل، دلیل ایندکس نشدن برخی از صفحات را نشان می‌دهد و به شما راه‌حلی برای رفع آن می‌دهد. اکنون که روش‌های مختلفی برای ارسال نشانی اینترنتی اینترنتی انبوه به Google دارید‌، بیایید آن را عملی کنیم:

ارسال URL به کنسول جستجوی گوگل

اگر وب سایت جدیدی ایجاد کرده اید‌، Search Console بهترین ابزار ارسال URL به صورت رایگان است که در اختیار شما قرار گرفته است تا به گوگل موجودیت خود را اطلاع دهید. برای استفاده از Search Console‌، ابتدا باید وب سایت خود را با استفاده از یک کد تأیید کنید. این اولین کاری که باید بعد از راه اندازی سایت انجام دهید.

مراحل ارسال انبوه URL ها از طریق کنسول جستجوی Google

مرحله 1: وب سایت خود را در Google Search Console اضافه کنید.

مرحله 2: ایجاد نقشه سایت برای سایت خود (XML‌، RSS یا متن ساده).

مرحله 3: نقشه سایت خود را در Google Search Console بارگذاری کنید.

مرحله 4: در صورت وجود خطلا‌، آن‌ها را برطرف کنید و در صورت لزوم دوباره ارسال کنید.

چگونه یک آدرس اینترنتی جدید به Google ارسال کنیم؟

در نظر بگیرید که قبلاً نقشه سایت را در Google ارسال کرده‌اید و اکثر صفحات ایندکس شده‌اند. شما صفحه جدیدی را منتشر کرده‌اید که دارای اطلاعات زمان بندی شده است. شما نمی‌توانید منتظر خزنده‌های Google باشید و نیاز به خزیدن و ایندکس کردن فوری دارید. این زمانی است که می‌توانید از یک ویژگی مفید دیگر در کنسول جستجو یعنی ابزار بازرسی URL استفاده کنید.

اگر از کنسول جستجوی قدیمی ‌استفاده کرده اید‌، دیده‌اید که دارای ویژگی “ارسال URL” است. با این حال‌، وقتی گوگل کنسول جستجو را در سال 2018 به روز رسانی کرد‌، این ویژگی را با ابزار بازرسی URL ادغام کرد. ابزار بازرسی URL به شما امکان می‌دهد بررسی کنید که آیا نشانی اینترنتی در Google ایندکس شده است یا خیر.

علاوه بر این‌، می‌توانید سایر جزئیات مهم دیگر‌، از جمله پیشرفت طرح و امکان ایندکس شدن URL را بررسی کنید. با زدن دکمه Request Crawl می‌توانید URL جدید را ارسال کنید.

مراحل ارسال URL جدید با استفاده از URL Inspection Tool

مرحله 1: وارد کنسول جستجوی گوگل شوید.

مرحله 2: ابزار بازرسی URL را از ستون سمت چپ انتخاب کنید.

مرحله 3: نشانی اینترنتی را که می‌خواهید ارسال کنید وارد کنید.

مرحله 4: درخواست ایندکس شدن کنید.

توجه: ویژگی Request Index گوگل، خزیدن (شروع به کار ربات‌های خزنده) و ایندکس فوری را تضمین نمی‌کند. ممکن است چند دقیقه طول بکشد تا URL جدید را به فهرست اضافه کنید. مجددا باید اضافه کرد که این ویژگی فقط در صورتی استفاده می‌شود که می‌خواهید ایندکس کردن فوری داشته باشید. خزنده‌های گوگل بیشتر اوقات با سریع صفحات را ایندکس می‌کنند.

نحوه ارسال URL به روز شده به Google

در صورتی که تغییرات قابل توجهی در محتویات یک URL ایجاد کرده‌اید و می‌خواهید Google آن تغییرات را در اسرع وقت منعکس کند‌، این ابزار دوباره کار شما را بسیار آسان می‌کند. کافی است روی گزینه Request Recrawl کلیک کنید تا نسخه جدید شما به لیست اولویت‌های ایندکس گوگل اضافه شود.

مراحل ارسال URL‌ها با استفاده از ابزار Inspect Element

مرحله 1: وارد کنسول سرچ گوگل شوید.

مرحله 2: ابزار بازرسی URL (URL inspection) را از ستون سمت چپ انتخاب کنید.

مرحله 3: نشانی اینترنتی (URL) را که می‌خواهید دوباره ارسال کنید وارد کنید.

مرحله 4: مجدد درخواست ایندکس شدن کنید.

ویژگی درخواست ایندکس کردن گوگل

گوگل ویژگی ایندکس کردن درخواست‌ها را در کنسول جستجو غیرفعال کرد زیرا تیم گوگل در حال انجام برخی اصلاحات اضافی در زیرساخت است. این ویژگی در 13 اکتبر غیرفعال شد و بحث‌های زیادی پیرامون آن انجام شده است که در زیر می‌خوانید. نکته خوب این است که گوگل پس از 69 روز این ویژگی را مجدداً در Search Console فعال کرده است. اعلام رسمی ‌در مورد احیای ویژگی Request Indexing با توییتی از Webmaster Central منتشر شد.

در این توییت آمده است: ما خوشحالیم که اعلام می‌کنیم درخواست ایندکس کردن به گزینه بازرسی URL در کنسول جستجوی Google باز می‌گردد؛ درست در سال جدید!

گوگل چرا Google Request Indexing را غیرفعال کرد؟

اعلامیه مربوط به تعلیق گزینه Request Indexing در 13 اکتبر از طریق توییتی از Webmaster Handle به صورت رسمی ‌منتشر شد. بر اساس این توییت، این ویژگی برای ایجاد برخی تغییرات مهم زیرساختی غیرفعال شده است. البته این در حالی که گوگل می‌گوید ایندکس کردن معمولی آن تحت تأثیر غیرفعال سازی ویژگی Request Indexing قرار نمی‌گیرد.

لازم به ذکر است که چنین تغییری در زمانی رخ داده است که مدیران گوگل تایید کرده‌اند که چند اشکال ایندکس کردن را در سیستم شناسایی کرده‌اند.

جان مولر در مورد ویژگی Request Index چه گفت؟

جان مولر‌، تحلیلگر ترندهای وب مستر در گوگل‌، در توییتی نوشت که احتمالاً این ویژگی بی‌استفاده ترین گزینه در داخل کنسول جستجوی گوگل است. بسیاری از جمله بری شوارتز معتقد بودند که بعد از غیرفعال سازی Request Index که این ویژگی هرگز به کنسول جستجو باز نمی‌گردد.

در 9 نوامبر‌، جان دوباره توییت کرد‌، این بار او یک فرم را به اشتراک گذاشت و در آن فرم از جامعه سئو درخواست می‌کرد. چند مورد را که برای آنها از ویژگی Request Indexing را استفاده می‌کنند به اشتراک بگذارند.

او همچنین گفت:

“من افرادی را دیده ام که منتظر بازگشت ابزار ارسال URL هستند. من هیچ خبر جدیدی ندارم‌، اما دوست دارم بیشتر بدانم که چرا برای این ویژگی (Request Indexing) دلتنگ شده‌اید؟ به من اطلاع دهید که برای ایندکس کردن کدام آدرس‌ها از این ابزار استفاده می‌کردید و عموماً چگونه آدرس‌های خود را برای ایندکس شدن ارسال میکنید. متشکرم! “

با این حال‌، این توییت به عنوان خبر منسوخ کردن این ابزار تلقی شد زیرا وی از گفتن زمان استفاده کاربران از ابزار Request Indexing در کنسول جستجوی گوگل خودداری کرد.

فرم گوگل برای کاربران چه معنایی داشت؟

هنگامی‌که گوگل از اواسط سپتامبر تا اکتبر مشکلات ایندکس کردن داشت‌، مدیران وب از ویژگی Request Indexing به عنوان ابزار اصلی خود برای ایندکس کردن سریع استفاده می‌کردند. علاوه بر این‌ اکثر صاحبان سایت‌ها می‌خواهند وقتی دکمه انتشار را فشار می‌دهند‌، در اسرع وقت آدرس‌هایشان ایندکس شوند. این امر به ویژه هنگامی‌که اطلاعات و پیشنهادات از نظر زمانی محدودیت دارند، صادق است.

چه کسانی بیشتر از گزینه Request Indexing استفاده می‌کنند؟

ما هنوز نمی‌دانیم که آیا گوگل این ویژگی را قبل از جمعه سیاه باز می‌گرداند یا نه‌، یعنی زمانی که وب سایت‌های تجارت الکترونیک (عمدتا وب سایت‌های کوچک) می‌خواهند صفحات در کوتاه ترین زمان ممکن ایندکس شوند.

ویژگی Request Indexing همچنین در بین وب سایت‌هایی که محتوا را به روز می‌کنند بسیار مورد استفاده قرار گرفت. حتی زمانی که تغییرات محتوایی را در صفحه ایجاد می‌کنیم‌، از این ویژگی استفاده می‌کنیم. این امر به ویژه وقتی گوگل الگوریتم وب‌سایت‌ها را به روز رسانی می‌کند صادق است.

چگونه می‌توان مطمئن شد که آیا Google یک صفحه وب را ایندکس می‌کند؟

برای بررسی اینکه آیا URL نشانی اینترنتی را ایندکس می‌کند یا خیر‌، باید از خود گوگل استفاده کنید. اگر صفحه وب شما در حال حاضر ایندکس شده است‌، آن را در نتایج جستجو مشاهده خواهید کرد.

• اگر چندین صفحه وب دارید که شبیه یکدیگر هستند‌، می‌توانید برخی کلمات یا جملات منحصر به فرد را در هر صفحه‌تان را پیدا کرده و با استفاده از آن کلمات یا عبارات در داخل علامت نقل قول‌، جستجوی Google انجام دهید. allinurl:example.com/you-url/
• اگر عبارات منحصر به فردی برای جستجو ندارید‌، می‌توانید  site:yourdomainname.com را به همراه کلمات مروبط به صفحه خود در کادر جستجو تایپ و بعد سرچ کنید.
• یکی دیگر از راه‌های کشف صفحات ایندکس شده‌، Google Analytics است.

می‌توانید به آدرس زیر بروید:

Acquisition>All Traffic> Source/Medium report

 و بعد Google/organic results را انتخاب کنید.

سپس برای صفحات فرود تنظیم کنید و گزارش به دست آمده را استخراج کنید.  این گزارش صفحات فرود را که ترافیک ارگانیک دریافت کرده‌اند به شما نشان می‌دهد. اگر می‌بینید که آدرس اینترنتی مورد نظر شما دارای ترافیک ارگانیک است‌، می‌توانید مطمئن باشید که قبلاً توسط Google ایندکس شده است.

دیگر نمی‌توان تعداد زیادی نشانی اینترنتی به Google ارسال کرد!

پیش از این‌، گوگل گزینه “Submit a URL” را برای همه کاربران خود ارائه داده بود تا ایندکس کردن سریعتر وب سایت‌ها و آدرس‌های اینترنتی را در نمایه جستجوی خود داشته باشند. گزینه “ارسال URL” به طور گسترده ای توسط مدیران وبلاگ‌، مدیران وب سایت و متخصصان سئو مورد استفاده قرار گرفت تا صفحات وب سایت‌های مشتری را برای ایندکس کردن سریع‌تر ارسال کنند.

این امر آسان بود زیرا مدیران وب سایت می‌توانستند در زمان صرف شده برای پرسش مشتریان از درباره جزئیات کنسول جستجوی خود جهت ارسال آدرس‌های اینترنتی از طریق گزینه “Fetch as Google” صرفه جویی کنند. با این حال‌، ابزار ارسال آدرس Google در حال حاضر غیرفعال است!

چرا Google ابزار ارسال URL را غیرفعال کرد؟

کارشناسان سئو‌، که از این ابزار برای ارسال بک لینک و ایندکس کردن سریع‌تر استفاده می‌کردند‌، با مشکل روبرو خواهند شد زیرا در حال حاضر هیچ گزینه دیگری به جز انتظار کشیدن تا اینکه خزنده‌های گوگل به طور طبیعی آدرس‌هایشان را ایندکس کنند برای آنها باقی نمانده است. ارسال URL‌ها حتی برای کاربران بدون ورود به سیستم هم امکان پذیر بود.

این احتمال وجود دارد که گوگل مشاهده کرده است که مدیران وب با استفاده از این سرویس آدرس‌های انبوهی را برای ایندکس کردن ارسال می‌کنند و گوگل می‌خواهد مانع آن‌ها شود. 

گوگل در از طریق حساب رسمی ‌وبمستر خود در توییتر اعلام کرد: “ما مجبور شدیم ویژگی ارسال عمومی‌ را کنار بگذاریم‌، اما همچنان از ارسال‌های شما با استفاده از ابزار معمول در Search Console و مستقیماً از طریق نقشه‌های سایت استقبال می‌کنیم.”

گزینه Submit URL در سال 2008 به جستجوی گوگل اضافه شد و بعداً در سال 2012 با چند تغییر جزئی به حساب کاربری صاحبان سایت اضافه شد. حذف “ارائه آدرس URL” از کنسول جستجوی Google به طور جهانی اعمال شده است. این صفحه در حال حاضر پیامی ‌را نشان می‌دهد که می‌گوید: “برای ارسال URL به فهرست Google‌، یا نقشه سایت ارسال کنید یا از ابزار جدید بررسی URL ما استفاده کنید.” یعنی Fetch as Google و Sitemap‌

آنچه جان مولر درباره ابزار ارسال URL گفت:

طی چند ماه گذشته‌، مدیران وب سایت متوجه شده اند که گوگل در ایندکس نشانی‌های اینترنتی که از طریق ابزار ارسال URL عمومی ‌ارسال شده اند‌، بی توجه است.

با این اعلامیه که روز چهارشنبه به اطلاع همگان رسید، به نظر می‌رسد که حرکت استراتژیک برای از بین بردن این ابزار‌، که به کاربران اجازه می‌دهد آدرس‌ها را بدون ورود به کنسول جستجو وارد کنند‌، کاملاً فکر شده بود.

پیش از این‌، جان مولر‌، تحلیلگر ارشد گوگل‌، در یکی از جلسات خود گفته بود که اگر محتوای شما به خوبی نوشته شده باشد و دارای ارزش باشد دیگر نیازی به استفاده از ابزار ارسال URL نیست.

او همچنین چند سناریو را مشخص کرد که در آن‌ها این ابزار ممکن است برای مدیران وب مفید باشد. “… اولین باری که من استفاده از ابزار ارسال URL را توصیه می‌کنم زمانی است که در وب سایت خود مشکلات واقعی دارید که باید فوراً آنها را برطرف کنید و فوراً باید گوگل آن را در نتایج جستجو منعکس کند. به عنوان مثال‌، شما چیزی خصوصی را منتشر کرده اید و باید آن را حذف کنید، این ابزار به خوبی قضیه را حل خواهد کرد. شاید‌، شما اشتباه شماره تلفن خود را نوشته‌اید و افراد به طور تصادفی با شخص دیگری تماس می‌گیرند. این چیزی است که شما می‌خواهید دوباره ایندکس شده و بخواهید در اسرع وقت پردازش شود. “

جمع‌بندی

اگرچه ارائه URL به Google برای ایندکس کردن یک عمل خوب است‌، اما تضمین نمی‌کند که صفحه وب شما در موتور جستجو رتبه بندی بالایی داشته باشد. خزیدن و ایندکس کردن وب سایت‌ها بخشی از SEO است. برای اطمینان از اینکه سایت شما در گوگل رتبه خوبی دارد‌، باید سایر عوامل ضروری مانند سرعت سایت‌، کیفیت محتوا و کلمات کلیدی مورد استفاده را در نظر بگیرید. با پیاده سازی استراتژی‌های مناسب SEO‌، محتوای شما پتانسیل بالاتری برای رتبه بندی مناسب در Google خواهد داشت.