استفادۀ بهینه از بودجه خزش

نوفالوی سطح لینک

منظورم از نوفالوی سطح لینک این است که اگر ما لینکهایمان را روی صفحه دسته بندی لپتاپ اصلی گرفتیم، که به این جنبه ها ارجاع می دهد، و ما یک خصلت نوفالو (nofollow) را به صورت داخلی به این لینکها نسبت می دهیم، این کار مزایا و معایبی دارد.

فکر می کنم یک مورد استفاده بهتر برای این، بیشتر در مورد فهرست سازی است. پس فرض کنید که ما یک وبگاه ماشینهای مستعمل راه انداخته ایم، که ما میلیونها فهرستبندی کالا در مورد ماشینهای مستعمل داریم. حال واقعاً نمی خواهیم گوگل وقتش را روی این فهرستبندی های تک تک هدر دهد، که فهرستبندی بستگی به مقیاس و اندازه سایت ما دارد.

اما شاید گاهی یک سلبریتی ماشین خود را آپلود کند یا چیزی شبیه به این، یا یک ماشین خیلی کمیاب آپلود شود و این باعث شود که لینکهای رسانه دریافت شود. حالا نمی خواهیم آن صفحه در robots.txt مسدود شود زیرا آن لینکهای خارجی هستند که در این مورد ما آن را اسراف خواهیم کرد. لذا کاری که شاید ما انجام دهیم این است که در لینکهای داخلی خودمان به آن صفحه لینک را به لحاظ درونی نوفالو می کنیم. پس یعنی آن می تواند خزش شود، ولی فقط اگر پیدا شود، فقط اگر گوگل آن را به طریقی دیگر بیابد، پس از طریق یک لینک خارجی یا چیزی شبیه به آن.

پس اینجا ما به نوعی خانه ای نیمه ساخته داریم. اکنون این روزها نوفالو یک نکته است. به تجربۀ من، گوگل صفحاتی را کرال نمی کند که فقط به آن از طریق نوفالوی داخلی لینک شده است. اگر به طریقی دیگر صفحه را بیابد، قطعاً آن را کرال می کند. اما در کل، این روشی موثر برای محدود کردن بودجه خزش است یا بهتر است بگویم استفاده موثرتر از بودجه خزش. صفحه هنوز می تواند نمایه شود.

آن چیزی است که سعی کردیم در آن مثال به آن برسیم. آن هنوز می تواند Pagerank  را عبور دهد. ما دنبال چیز دیگری بودیم. گرچه شما یک مقدار پیجرنک از طریق لینک نوفالو از دست می دهید. اما آن همچنان یک لینک به حساب می آید، و لذا شما دارید مقداری پیجرنک از دست می دهید که در حالتی دیگر در آن لینک فالو پُمپ می شد.

نوایندکس، نوفالو (no index, nofollow)

نوایندکس و نوفالو، روشن است که این راهکاری بسیار رایج برای صفحاتی مثل اینها در مغازه های اینترنتی است.

اکنون در این مورد، صفحه می تواند کرال شود. ولی وقتی گوگل به آن صفحه می رسد، خصوصیت نو ایندکس آن را کشف می کند، و در طول زمان خیلی کمتر آن را کرال می کند زیرا سودی در کرال کردن صفحه نو ایندکس نیست یا خیلی کم است. لذا همانطور که گفتم، ما اینجا خانه ای نیمه ساخته داریم.

پس، آن نمی تواند ایندکس شود. آن نو ایندکس است. آن Pagerank  را به بیرون عبور نمی دهد. پیجرنک هنوز در این صفحه عبور داده می شود، ولی چون در قسمت هِد یک نوفالو دریافت کرده است، آن Pagerank  را به بیرون پاس نمی دهد. این یک راهکار عالی نیست. ما افتهایی داشته ایم که می بایست اینجا آن را در بودجه کرال کمتر می کردیم.

نو ایندکس، فالو

پس خیلی از مردم فکر کرده اند که خب ، راهکار این مسئله این است که از نو ایندکس فالو به عنوان راهکار درست استفاده کنیم. لذا یک تگ نوایدنکس فالو را در قسمت هد یکی از این صفحات می گذارید، و خب، هرکسی برنده است زیرا ما هنوز همان مقدار از نفع خزشی را دریافت می کنیم. ما هنوز این نوع از صفحه تکراری جدید را ایندکس نمی کنیم که نمی خواهیم ایدنکس کنیم، ولی راهکار Pagerank  ثابت (fixed) است.

چند سال پیش گوگل گفت «ما خودمان این را نمی فهمیم، اما وقتی ما این صفحه را در طول زمان کمتر و کمتر کرال می کنیم، دیگر لینک را نمی بینیم، و آنگاه آن دیگر به حساب نمی آید و مهم نیست.» پس به نوعی گفتند که این کار دیگر به عنوان روشی برای همچنان عبور دادن پیجرنک موثر نیست، و در نهایت مثل نو ایندکس و نوفالو رفتار می شود. لذا همانطور که گفتم، ما اینجا یک راهکار تقریباً معیوب داریم.

کانونی

حال بهترین همه چیز احتمالاً کانونی (canonical) است. با تگ کانونی، آن همچنان در طول زمان، کمی کمتر کرال می شود. آن همچنان نمایه نمی شود، این نسخۀ کانونی است ، عالی ، و همچنان Pagerank  را پاس می کند.

پس آن عالی به نظر می رسد. آن در بسیاری موارد عالی است. ولی این فقط وقتی کار می کند که صفحات تقریباً تکراری (داپلیکیت) هستند که گوگل می خواهد آنها را تکراری ببیند و به کانونی احترام بگذارد. اگر نخواهند آن را به عنوان تکراری ببینند، آنگاه شما شاید مجبورید برگردید و از نو ایندکس استفاده کنید. یا اگر واقعاً فکر می کنید که اصلاً لزومی ندارد که این آدرس سایت وجود داشته باشد، نمی دانم چگونه این ترکیب اشتباه به  وجود آمده است، ولی بسیار بی معنی است.

301

من دیگر به آن لینک نمی دهم. ولی در موردی که برخی مردم هنوز به روشی آن آدرس سایت را پیدا می کنند، می توانیم از 301 به عنوان نوعی از صرفه جویی یا اقتصاد استفاده کنیم که در نهایت خیلی بهتر از کانونی و نوایندکس برای صرفه جویی در بودجه خزش عمل می کند زیرا گوگل حتی مجبور نیست آن صفحه را به ندرت نگاه کند زیرا آن به آسانی تابع 301 است.

آن مسئله ایندکسینگ را حل می کند، و آن Pagerank  را عبور می دهد. ولی مسلم است که تعادل در اینجا این  است که کاربران نیز نمی توانند به این آدرس سایت دسترسی داشته باشند، پس ما باید با آن موافق باشیم.

انجام دادن تاکتیکهای بودجه خزش

برای جمع بندی کلی، ما چگونه می توانیم از این تاکتیکها استفاده کنیم؟ اگر می خواهید پروژۀ بودجه خزش داشته باشید من چه فعالیتهایی را توصیه می کنم؟

یکی از راهکارهایی که زیاد شهودی نیست، سرعت است. همانطور که گفتم، گوگل یک مقدار زمان یا مقداری از منابع را برای کرال یک سایت خاص اختصاص می دهد. لذا اگر سایت شما خیلی سریع است، اگر زمان پاسخ سرور کمی دارید، اگر HTML سبک دارید، آنها به راحتی می توانند در همان مقدار زمان مشخص، در صفحات بیشتری وارد شوند.

گرچه با شهود جور در نمی آید ولی روش بسیار خوبی است. تحلیل لاگ، این روشی سنتی تر است. اغلب اصلاً با شهود جور در می آید کدام صفحه در سایت شما یا کدام مولفه ها واقعاً دارند بودجه خزش شما را می بلعند. تحلیل لاگ روی سایتهای بزرگ اغلب نتایجی غافلگیرکننده ارائه می دهد، لذا گاهی باید آن را در نظر بگیرید. سپس از برخی از این ابزارها استفاده کنید.

لذا می توانیم آدرس سایتهای زائد را که فکر نمی کنیم کاربران حتی به آن نگاه کنند، 301 کنیم. در مورد نسخه هایی که کاربران باید نگاه کنند می توانیم تگ نو ایندکس یا کانونی را در نظر بگیریم. ولی همچنین شاید بخواهیم از لینک دهی به آنها در وهلۀ اول اجتناب کنیم به طوری که ما مقداری از Pagerank  به نسخه های کانونی و نوایندکس را از طریق رقت یا بن بست از دست ندهیم.

robots.txt و نوفالو، همانطور که غیرمستقیم گفتم اینها تاکتیکهایی هستند که می خواهید به  عنوان آخرین راهکار استفاده کنید زیرا آنها منجر به بن بست Pagerank  می شوند. در نهایت، یک نکته جدیدتر و جالبتر که من مدتی پیش از مقاله وبلاگ Ollie H.G. Mason دریافت کردم، که احتمالاً در زیر لینک می دهم، این طور است که اگر شما یک نقشه سایت (sitemap) در سایت دارید که فقط برای آدرس سایتهای تازه و جدید، آدرس سایتهایی که به تازگی تغییر کرده اند استفاده می کنید آنگاه از آنجا که ربات گوگل چنان عطشی برای محتوای تازه دارد، آنها این نقشه سایت را به دفعات بیشتر کرال خواهند کرد. پس می توانید از این تاکتیک استفاده کنید تا بودجه کرال را به سوی آدرس سایتهای جدید سوق دهید که به این نحو همه بَرنده می شوند.

ربات گوگل فقط می خواهد آدرس سایتهای تازه را ببیند. شاید شما فقط بخواهید که ربات گوگل آدرس سایتهای تازه را ببیند. لذا ، شما اگر نقشه سایت دارید که فقط برای این منظور است، آنگاه همه برنده می شوند، و این نکته خوب و آسانی برای انجام دادن است. پس همین. امیدوارم برایتان سودمند باشد. اگر نه، راحت باشید و نکات و مشکلات خود را از طریق تویتر به من اطلاع دهید. دوست دارم ببینم افراد دیگر چه رویکردی به این موضوع دارند.

برگرفته از این منبع