هر وبگاهی تا حدی متکی بر گوگل است. ساده است: صفحات شما با گوگل ایندکس می شود که این کار باعث می شود که مردم شما را پیدا کنند. کارها باید اینطور پیش برود.
اما، همیشه اینطور نمی شود. بسیاری از صفحات هرگز توسط گوگل ایندکس نمی شوند.
اگر شما با یک وبسایت کار می کنید، خصوصاً یک وبسایت بزرگ، شاید متوجه شده باشید که هر صفحه در وبگاه شما ایندکس نمی شود، و بسیاری از صفحات هفته ها صبر می کنند تا گوگل آنها را انتخا کند.
عوامل بسیاری در این امر دخیل است، و بسیاری از آنها همان عواملی هستند که در خصوص کسب رتبه ذکر می شود، کیفیت محتوا و لینکها دو نمونه هستند. گاهی این عوامل بسیار غامض و فنی هستند. وبسایتهای مدرن که به شدت متکی بر فناوریهای وبی جدید هستند خیلی از مسائل ایندکس شدن در گذشته رنج برده اند و هنوز هم رنج می برند.
بسیاری از سئوکاران هنوز باور دارند که مسائل فنی باعث می شود که گوگل محتوا را ایندکس نکند، اما این باوری اشتباه است. به هر حال شاید گوگل شاید صفحات شما را ایندکس نکند اگر شما سیگنالهای تکنیکال مربوط را نفرستید که کدام صفحه تان را می خواهید ایندکس کنید یا اگر بودجه خزش کافی ندارید، و مهم است که در مورد کیفیت محتوای خود جدی باشید.
بیشتر وبسایتها چه بزرگ چه کوچک، محتوای زیادی دارند که باید ایندکس شود، اما نمی شود. و درحالی که اموری مثل جاواسکریپت ایندکس شدن را پیچیده تر می کند، وبسایت شما ممکن است از مسائل ایندکس شدن حتی اگر به طور محض با HTML نوشته شده باشد رنج ببرد. در این مقاله، بیایید برخی از مسائل رایج را بررسی کرده و ببینیم چگونه می توان آنها را کمتر کرد.
عللی که چرا گوگل صفحات شما را ایندکس نمی کند
با استفاده از یک ابزار بررسی کنننده ایندکس شدن سفارشی، من یک نمونه بزرگ از معروفترین مغازه های اینترنتی را در ایالات متحده در مورد مسائل ایندکس شدن بررسی کردم، کشف کردم که به طور متوسط 15% از صفحات محصول ایندکس پذیر را نمی توان بر گوگل پیدا کرد.
آن نتیجه خیلی عجیب بود. در مرحله بعد باید می فهمیدم «چرا»: علل اصلی این که چرا گوگل تصمیم میگیرد که چیزی را که باید ایندکس شود را ایندکس نکند چیست؟
گوگل سرچ کنسول چند وضعیت برای صفحات ایندکس نشده را گزارش می کند، مثل «خزش شده، فعلاً ایندکس نشده» یا «کشف شده فعلاً ایندکس نشده». در حالی که این معلومات به صراحت به مسئله رسیدگی نمی کند، اما نقطه شروع خوبی برای تشخیص برخی عیوب است.
مسائل ایندکس شدن سطح بالا
بر اساس نمونه عظیم وبسایتهایی که من جمع آوری کردم، معروفترین و شایعترین مسئله ایندکس شدن که توسط گوگل سرچ کنسول گزارش می شود عبارت اند:
«خزش شده، فعلاً ایندکس نشده»
در این مورد، گوگل صفحه را بازدید کرده اما آن را ایندکس نکرده است.
- بر اساس تجربه من، این معمولاً یک مسئله کیفیت محتوا است. با توجه به گسترش عظیم بازرگانی رایانه ای که اکنون در حال رخ دادن است، می توانیم توقع داشته باشیم که گوگل نسبت به مسئله کیفیت حساس و سختگیر شده است. پس اگر دیدید که صفحات شما «خزش شده اما ایندکس نشده» مطمئن شوید که محتوای این صفحات به طرز یکتایی ارزشمند باشد:
- از عنوانها، توضیحات متا، و متن یکتا بر تمام صفحات ایندکس پذیر استفاده کنید.
- اصلاً توضیحات متای محصول را از منابع خارجی کپی نکنید.
- از تگهای کانونی بهره ببرید تا محتوای مکرر را ترکیب کنید.
- نگذارید گوگل قطعات کم کیفیت وبسایت شما را خزش کند و این کار را با استفاده از فایل robots.txt یا تگ noindex انجام دهید.
اگر به این موضوع علاقه دارید، توصیه می کنم نوشتۀ کریس لانگ، خزش شده، اما ایندکس نشده : راهنمای وضعیت پوشش را مطالعه بفرمایید.
2. « کشف شده، فعلاً ایندکس نشده »
این مسئله مورد علاقه من است که دوست دارم با آن کار کنم، زیرا آن می تواند هرچیزی از مسائل خزش تا کیفیت محتوای ناکافی را شامل شود. آن یک مسئله بزرگ است، به ویژه در مورد فروشگاههای تجارت رایانه ای بزرگ، و دیده ایم این امر مربوط به دهها میلیون URL روی یک وبسایت است.
گوگل شاید گزارش کند که صفحات محصولات تجارت اینترنتی «کشف شده اما ایندکس نشده اند» زیرا:
یک مسئلۀ بودجه خزش: شاید URLهای خیلی زیادی در صف خزش باشند و شاید اینها بعداً خزش و ایندکس شوند.
مسئلۀ کیفیت: گوگل شاید فکر کند برخی صفحات روی دامنه ارزش خزش ندارند و تصمیم می گیرد که با نگاهی به الگویی در URL آنها، آنها را بازدید نکند.
رسیدگی به این مسئله کمی خبرگی و تخصص می خواهد. اگر دریافتید که صفحات شما «کشف شده، اما هنوز ایندکس نشده اند» این کارها را بکنید:
شناسایی کنید که آیا الگوهایی از صفحات هست که در این دسته بندی قرار می گیرند. شاید مسئله مربوط به دسته بندی خاصی از محصولات است و کل دسته بندی به صورت داخلی لینک نشده است؟ یا شاید قسمت عظیمی از صفحات محصول در صف ایندکس شدن در انتظارند؟
بودجه خزش خود را بهینه کنید. بر دیدن صفحات کم کیفیت تمرکز کنید که گوگل زمان زیادی برای خزش صرف آنها می کند. مظنونان معمول شامل صفحات دسته بندی فیلتر شده و صفحات جستجوی داخلی هستند، این صفحات به راحتی می توانند به دهها میلیون در سایتهای تجارت اینترنتی معمولی برسند. اگر گوگلبات بتواند به آزادی آنها را خزش کند، شاید منابعی نداشته باشد یعنی نمی داند از کجا بفهمد که به موضوعات ارزشمند روی وبسایت شما که در گوگل ایندکس شده برسد.
در طول وبینار «تفسیر سئو» ، مارتین اسپلیت که برای گوگل است به ما چند نکته داد در مورد تعمیر مسئلۀ کشف شده اما ایندکس نشده. برای معلومات بیشتر آن را بررسی کنید.
«محتوای تکراری»
این مسئله در مرکز یادگیری ماز سئو به خوبی رسیدگی شده است. می خواهم فقط اینجا اشاره کنم که محتوای تکراری ممکن است ناشی از چند دلیل باشد مثل:
تغییرات زبانی (مثلاً زبان انگلیسی در انگلستان، آمریکا یا کانادا). اگر شما چند نسخه از یک صفحه دارید که برای کشورهای مختلف هدف شده است، برخی از این صحفات ممکن است ایندکس نشوند.
محتوای تکراری که توسط رقبای شما استفاده شده است. این امر اغلب در صنعت تجارت اینترنتی وقتی رخ می دهد که چند وبسایت از توصیف محصول یکسانی که توسط تولید کننده فراهم شده استفاده می کنند.
علاوه بر استفاده از rel=canonical، 301 redirects یا آفریدن محتوای یونیک، من بر فراهم کردن ارزش یکتا برای کاربران تمرکز می کنم. Fast-growing-trees.com یک مثال از این قبیل است. به جای توصیفات کسل کننده و نکات در مورد کاشت گلها و آبیاری، وبسایت به شما اجازه می دهد که یک FAQ (سوالات متداول) مفصل برای محصولات زیاد ببینید.
همچنین ، می توانید به سادگی بین دو محصول مشابه را مقایسه کنید.
برای محصولات زیادی، آن سوالات متداول فراهم میکند، هر مشتری می تواند یک سوال مفصل در مورد یک گیاه بپرسد و از اجتماع جواب بگیرد.
چگونه می توانید پوشش ایندکس وبسایت خود را بررسی کنید
به آسانی می توانید بسیاری از صفحات وبسایت خود را که ایندکس نشده اند را بررسی کنید و این کار را می توانید با باز کردن گزارش پوشش ایندکس (Index Coverage) در گوگل سرچ کنسول انجام دهید.
اولین چیزی که باید اینجا ببینید تعداد صفحات مطرود (excluded pages) است. بعد سعی کنید الگویی بیابید، چه نوع صفحاتی ایندکس نشدند؟
اگر یک فروشگاه تجارت رایانه ای دارید، به احتمال زیادی صفحات محصول ایندکس نشده را می بینید. گرچه این همیشه یک نشانه هشدار دهنده است، نمی توانید انتظار داشته باشید که همه صفحات محصول شما ایندکس شود، به ویژه در وبسایتهای بزرگ. مثلاً، یک مغازه تجارت اینترنتی بزرگ ناچار است که صفحات تکراری یا محصولات منقضی یا غیرموجود در انبار داشته باشد. این صفحات ممکن است کیفیتی که آنها را در جلوی صف ایندکس گوگل قرار بدهد نداشته باشند (آن هم تازه به شرط این که گوگل تصمیم گرفته باشد این صفحات را خزش کند).
علاوه بر این، وبسایتهای تجارت اینترنتی بزرگ معمولاً مشکلاتی با بودجه خزش دارند. من مواردی از فروشگاههای تجارت اینترنتی دیده ام که بیش از یک میلیون محصول داشته اند در حالی که 90 درصد از آنها به عنوان «کشف شده ، فعلاً ایندکس نشده است» طبقه بندی شده اند. ولی اگر شما می بینید که صفحات مهم دارند از ایندکس گوگل طرد می شوند، باید خیلی حواستان جمع باشد.
چگونه احتمال این که گوگل صفحات شما را ایندکس کند را بیشتر کنیم؟
هر وبسایتی متفاوت است و ممکن است از مشکلات ایندکس ای مختلفی رنج ببرد. اما، اینجا برخی از بهترین روندها است که باید در ایندکس شدن صفحات شما کمک کنند:
از سیگنالهای «soft404» اجتناب کنید.
مطمئن شوید که صفحات شما چیزیی ندارد که اشتباهاً وضعیت soft404 را نشان دهد. این شامل هرچیزی از “not found” یا “not available” در کپی تا داشتن عدد 404 در URL است.
از لینک دهی داخلی بهره ببرید.
لینک سازی داخلی یکی از سیگنالهای مهم برای گوگل است که یک صفحۀ معین یک جزء مهم از وبگاه است و سزاوار ایندکس شدن است. هیچ صفحۀ یتیمی در ساختار وبگاهتان نگذارید، و به یاد داشته باشید که همه صفحات ایندکس پذیر را در نقشه های سایت خود شامل کنید.
از راهبرد خزش صحیح بهره ببرید
نگذارید گوگل پرسه زنان در وبگاه شما خزش کند. اگر منابع بسیاری صرف خزش در اجزای بی ارزش دامنه شما می شود، شاید خیلی طول بکشد که گوگل به چیزهای خوب برسد. تحلیل لاگ سِرور می تواند تصویری کامل از خزش گوگلبات و این که چگونه آن را بهینه کنید بدهد.
محتوای بی کیفیت و تکراری را حذف کنید
هر وبسایت بزرگی صفحاتی خواهد داشت که نباید ایندکس شود. مطمئن شوید که این صفحات وارد نقشه های سایت شما نشوند، و از تگ noindex و فایل robots.txt عند اللزوم استفاده کنید. اگر بگذارید گوگل زمان زیادی در بدترین قسمتهای سایت شما سپری کند، شاید کیفیت کلی دامنه شما را دست کم بگیرد.
سیگنالهای سئو مربوط بفرستید
یک نمونه رایج ارسال سیگنالهای سئوی نامربوط به گوگل تغییر تگهای کانونی با جاواسکریپت است. همانطور که مارتین اسپلیت از گوگل در ساعات اداری سئو جاواسکریپت گفت، هرگز نمی توانید مطمئن شوید که گوگل چه خواهد کرد اگر شما در جریان HTML یک تگ کانونی داشته ، و یکی دیگر بعد از رندرینگ جاواسکریپت داشته باشید.
وب خیلی بزرگ می شود
در چند سال قبل، گوگل جاواسکریپت را خیلی رشد داده است، و بدین شکل کار سئوکاران خیلی آسانتر شده است. این روزها، وبسایتهای تقویت شده با جاواسکریپت زیادی پیدا نمی شود که به دلیل بسته فناوری خاصی که استفاده می کنند ایندکس نشوند.
ولی آیا می توانیم همین انتظار را در مورد مسائل ایندکس شدن داشته باشیم که مربوط به جاواسکریپت نیستند؟ من چنین فکر نمی کنم.
اینترنت دائماً در حال رشد است. هر روز وبسایتهای جدیدی ظاهر می شوند و وبسایتهای موجود رشد می کنند.
آیا گوگل می تواند با این چالش مواجه شود؟
این سوال هر از چند گاهی مطرح می شود. می خواهم اینجا از گوگل نقل قول کنم:
« گوگل منابع محدودی دارد، لذا وقتی با مقدار نامحدودی از محتوا در اینترنت مواجه می شود، گوگلبات فقط می تواند درصدی از آن محتوا را پیدا کند و خزش کند. بعد از آن، از میان محتوای خزش شده، فقط می توانیم قسمتی از آن را ایندکس کنیم.»
به زبان دیگر، گوگل فقط می تواند قسمتی از همه صفحات روی وب را ببیند و دوباره فقط قسمت کوچکتری را ایندکس کند. و حتی اگر وبسایت شما عالی است، باید این موضوع را به خاطر بسپارید.
گوگل احتمالاً هر صفحه از وبسایت شما را بازدید نمی کنند، حتی اگر آن نسبتاً کوچک باشد. وظیفۀ شما این است که مطمئن شوید که گوگل می تواند صفحاتی را کشف و ایندکس کند که برای کسب و کار شما مهم هستند.
برگرفته از این منبع
