سئو وب سایت

نرخ کراول Crawl وب سایت توسط گوگل

نرخ کراول Crawl وب سایت توسط گوگل

 

کراول وب سایت یا استفاده از گوگل

بررسی وضعیت لینک های کراول شده توسط گوگل در وب سایت

 

هیچ کاری برای کراول انجام نداده و تمام صفحه بندی ها حاوی یک تگ canonical باشند وعاری از هرگونه تگ “nofollow”.

این صفحه بندی گوگل را برای مسیردهی کراولینگ ایندکس لینکها کمک می کند.

 

محصولات منقضی شده

وضعیت اولویت: متوسط

هنگام چک کردن مقطی صفحات مجزا وب سایتهای مشتریان idev URL هایی هستند که حاوی متنی هستند که محصولات “منقضی شده” در آنها وجود دارند.

در سایت های تجارت الکترونیکی، گوگل در دسترس بودن یک محصول خاص  را بررسی می کند.

اگرمحصولی وجود نداشته باشد، سعی می کند آن محصول را از فهرست ایندکس خود خارج کند.

این از منظر UX منطقی است چون Google محتوای صفحه ای که مشتری نتواند از آن خرید کند را نشان نمی دهد.

سئو صفحات بدون محصول فروشی و موجود بی تاثیر است. با حذف صفحات از ایندکس، محتوای شما به هیچ وجه رتبه نمی گیرند.

 

علاوه بر این ، Google فقط محتوای قابل مشاهده در صفحه بررسی نمی کند. مواردی وجود داشته است که هیچ علامتی در محتوای قابل مشاهده پیدا نکردیم که محصول در دسترس نباشد.

با این حال ، هنگام بررسی داده های ساختار یافته ، می بینیم که ویژگی ” availability دسترس بودن” روی “OutOfStock” تنظیم شده است.

به نظر می رسد که گوگل سرنخ هایی راجع به موجود بودن کالا را در محتوای قابل مشاهده و داده های ساخت یافته بررسی می کند. بنابراین ، مهم است که محتوا و ساختار را بررسی کنید.

 

راه حل: در دسترس بودن موجودی خود را بررسی کنید.

اگر کالاهایی را پیدا می کنید که در این گزارش لیست شده اند ، تمام محصولات خود را که ممکن است به اشتباه در دسترس نباشند ، بررسی کنید. یک کرول از سایت خود انجام دهید .

می توانید از یک ابزار کرول سفارشی مانند Screaming Frog’s برای پیدا کردن داده های صفحات محصول استفاده کنید.

به عنوان مثال ، اگر می خواهید تمام آدرسهای اینترنتی سایت خود با الگو”OutOfStock” را مشاهده کنید ، می توانید “Regex” را روی: “در دسترس” قرار دهید: ”

این: “class =” redactor-autoparser-object “> http://schema.org/OutOfStock” باید به طور خودکار تمام URL ها را با این خاصیت نشان دهد:

[/et_pb_text][et_pb_text _builder_version=”3.19.17″]

شما می توانید با استفاده از اکسل یا ابزارهای اطلاعاتی تجاری ، این لیست را با داده های موجودی خود مقایسه کنید.

این امرباید به سرعت به شما امکان دهد اختلاف بین داده های ساخت یافته در سایت خود و محصولاتی که در واقع موجود هستند را بیابید.

همین روند را می توان تکرار کرد تا مواردی را ببینید که محتوای قابل مشاهده شما نشان می دهد که محصولات منقضی شده اند.

 

  1. ریدایرکت ۳۰۱

اولویت: متوسط

یک نمونه جالب که ما در این وضعیت مشاهده کردیم ، URL های صفحات هدایت شده است. اغلب ، خواهیم دید که Google در حال کرول URL مقصد است اما آن  آدرس را درفهرست ایندکس درج نمی کند.

با این حال ، با نگاهی به SERP ، متوجه می شویم که گوگل URL ریدایرکت شده را ایندکس می کند.

از آنجا که URL ریدایرکت شده ایندکس شده است ، URL مقصد با گزارش “Crawled – در حال حاضر فهرست نشده”نشان داده می شود.

مسئله اینجاست که ممکن است Google هنوز این تغییر مسیر را تشخیص ندهد. در نتیجه ، URL مقصد را “کپی” می بیند زیرا هنوز URLریدایرکت شده را ایندکس می کند.

راه حل: یک نقشه سایتsitemap.xml  موقت ایجاد کنید.

اگر این اتفاق در تعداد زیادی آدرس اینترنتی رخ داده است ، ارزش دارد تا برای ارسال سیگنالهای تلفیقی قوی تر به Google قدمی بردارید.

این مسئله می تواند نشان دهد که Google به موقع ریدایرکت های شما را تشخیص نمی دهد و منجر به سیگنال های محتوای تلفیق نشده می شود.

یک گزینه ممکن است تنظیم “نقشه سایت موقت” باشد.

این یک سایت مپ است که می توانید برای تسریع در کرول این URL های هدایت شونده( ریدایرکت) ایجاد کنید. این استراتژی است که جان مولر قبلاً توصیه کرده است.

برای ایجاد آن ، باید ریدایرکت های را که در گذشته ایجاد کرده اید مهندس معکوس کنید:

دریافت همه URL ها از گزارش “کرول شده – در حال حاضر ایندکس نشده”.

آنها را در اکسل با ریدایرکت هایی که قبلاً تنظیم شده اند ، مطابقت دهید.

همه ریدایرکت هایی که URL مقصد با گزارش “Crawled – در حال حاضر فهرست نشده” را پیدا کنید.

با استفاده از Screaming Frog یک sitemap.xml ایستا از این URL ها ایجاد کنید.

نقشه سایت را بارگذاری کنید و گزارش “کرول – در حال حاضر فهرست نشده” را در کنسول جستجو مشاهده کنید.

هدف در اینجا این است که گوگل بتواند URL های موجود درsitemap.xml را بیشتر از آنچه که در غیر این صورت بود ،کرول  کند. این امر منجر به ادغام سریعتر این ریدایرکت ها می شود.

    1. محتوای کم

اولویت: متوسط

بعضی اوقات می بینیم URL های موجود در این گزارش از نظر محتوا بسیار ضعیف هستند.

این صفحات ممکن است دارای تمامی عناصر فنی به درستی تنظیم شده باشد و حتی ممکن است به درستی با آنها ارتباط برقرار کند.

اما وقتی Google در این URL ها کرول می کند ، محتوای واقعی بسیار کمی در صفحه وجود دارد. در زیر عکسی از صفحه محصولی است که محتوای منحصر به فرد کمی دارد:

 

 

 

جهت مشاوره و طراحی سایت خود با شماره ۰۹۱۵۲۵۸۵۱۲۳ تماس حاصل نمایید.

 

 

این صفحه لیست محصولات با عنوان “کرول – در حال حاضر ایندکس نشده” نشان داده شده است. این ممکن است به دلیل محتوای بسیار کم در صفحه باشد.

 

این صفحه احتمالاً بسیار کمتر از آن است که گوگل فکر کند مفید است یا محتوای کمی وجود دارد که گوگل آن را نسخه ای از صفحه دیگر تلقی می کند. نتیجه این است که گوگل محتوا را از فهرست خود حذف می کند.

 

یک بار دیگر ، Google به دلیل عدم کیفیت ، تصمیم به حذف صفحه از ایندکس گوگل کرده است.

 

راه حل: محتوای بیشتری اضافه کنید یا سیگنال های ایندکس شدن را تنظیم کنید.

مراحل بعدی به ایندکس شدن این صفحات بستگی دارد.

 

اگر فکر می کنید که قطعاً صفحه سایت شما باید در این فهرست قرار بگیرد ، محتوای بیشتری را اضافه کنید. این امر به Google کمک می کند تا صفحه را به عنوان تجربه بهتر برای کاربران ببیند.

صفحات کم کیفیت دیگری نیز وجود دارد که Google از این منطق استفاده نمی کند.

برای یافتن محتوای ایندکس شده بی کیفیت می توانید یک جستجوی “سایت” انجام دهید.

اگر متوجه شدید تعداد زیادی از این صفحات در فهرست  ایندکس نمایش داده می شوند ، ممکن است بخواهید ابتکارهای قوی تری را برای اطمینان از حذف این صفحات از ایندکس از قبیل تگ”noindex” ، خطای ۴۰۴ یا حذف آنها از صفحه اصلی  یا به طور کلی از ساختار سایت در نظر بگیرید.

 

 

 

  1. محتوای تکراری

اولویت: زیاد

هنگام ارزیابی در گزارش ها ، این بالاترین اولویتی است که ما دیده ایم. اگر Google محتوای سایت شما را کپی تشخیص دهد ، ممکن است محتوا را کرول کند اما انتخاب کند که آن را در فهرست ایندکس قرار ندهد.

این یکی از راه هایی است که گوگل از تکثیر SERP جلوگیری می کند. با حذف محتوای تکراری از فهرست ، Google اطمینان می دهد که کاربران از صفحات منحصر به فرد بیشتری برای تعامل با آنها برخوردار هستند.

گاهی اوقات گزارش این URL ها را با وضعیت “Duplicate” نشان گذاری می کند (“کپی کردن ، Google منبع اصلی تری را انتخاب کرد”). اما همیشه هم به این صورت نیست.

 

راه حل: عناصر منحصر به فردی را به محتوای تکراری سایت خود اضافه کنید.

 

اگر فکر می کنید این وضعیت در مورد سایت شما صدق می کند ، چگونه می توانید آن را آزمایش کنید:

 

۱.یک بخش از متن تکراری  را کپی کنید و آن را در Google جایگذاری کنید.

۲.در صفحه نتایج گوگل ، رشته زیر را اضافه کنید: “&num=100”. این کار ۱۰۰ نتیجه برتر را به شما نشان می دهد.

۳.از بخش “find” مرورگر خود استفاده کنید تا ببینید صفحه شما در ۱۰۰ نتیجه برتر ظاهر می شود یا خیر. اگر اینگونه نباشد ، ممکن است نتیجه شما از فهرست ایندکس خارج شده باشد.

۴.به URL SERP برگردید و  این رشته را به انتهای آن اضافه کنید: “۰ &filter = “. این کار باید نتیجه فیلتر نشده Google را نشان دهد.

۵.برای جستجوی آدرس اینترنتی خود از عملکرد “Find” استفاده کنید. اگر می بینید که صفحه شما در حال نشان دادن است ، این نشانه خوبی است که محتوای شما از فهرست ایندکس خارج می شود.

۶.این فرآیند را برای چند URL با محتوای تکراری یا بسیار مشابه که در گزارش “Crawled – در حال حاضر فهرست بندی نشده” مشاهده می کنید ، تکرار کنید.

 

 

 

این یک موضوع با اولویت بالا است ، به خصوص در بسیاری از سایت های تجارت الکترونیکی. صفحات کلیدی مانند صفحات توضیحات محصول اغلب توضیحات محصول مشابه یا مشابه بسیاری از نتایج دیگر در فضای اینترنت را شامل می شوند.

اگر Google این موارد را خیلی به سایر صفحات داخلی یا خارجی تشخیص دهد ، ممکن است همه آنها را از این فهرست خارج کند.

 

۸- محتوای شخصی

 

اولویت: زیاد

مواردی وجود دارد که خزندگان گوگل به محتواهایی دسترسی پیدا می کنند که نباید به آنها دسترسی داشته باشند.

اگر Google در حال یافتن محیط های در حال توسعه است ، می تواند آن URL ها را در این گزارش درج کند. این باعث می شود، که بر URL هایی تمرکز کند که دیگر نباید برای لیست ایندکس در نظر گرفته شوند.

 

مسئله اینجاست که کرول گوگل به درستی متمرکز نشده است ، و این وقت را صرف خزیدن (و ایندکس کردن بالقوه) آدرس های اینترنتی می کند که منظور  و هدف جستجوگرها نیست.

این می تواند نتایج گسترده ای برای هزینه های یک سایت داشته باشد.

 

راه حل: تنطیم ایندکس و کرول سایت

این راه حل کاملاً به شرایط و دسترسی Google وابسته است. به طور معمول ، اولین کاری که می خواهید انجام دهید این است که چگونه Google قادر به کشف این URL های خصوصی است ، خصوصاً اگر از طریق ساختار پیوند داخلی شما باشد.

 

کرول را از صفحه اصلی زیر دامنه اصلی  سایت خود شروع کنید و ببینید که آیا subdomains نامطلوب از طریق یک کرول استاندارد قادر به دسترسی هستند.

اگر چنین است ، به راحتی می توان گفت که Googlebot ممکن است مسیرهای مشابه را پیدا کند. بنابراین هرگونه لینک داخلی به این محتوا را حذف کنید تا دسترسی Google را قطع کنید.

 

مرحله بعدی بررسی وضعیت ایندکس URL هاست که باید مشخص شود.

آیا گوگل به اندازه کافی همه آنها را از فهرست ایندکس در امان نگه می دارد ، یا برخی در این فهرست ایندکس شده اند؟

اگر Google مقدار زیادی از این محتوا ها را فهرست بندی نکرده است ، ممکن است در نظر داشته باشید که فایل ربات robots.txt خود را تنظیم کنید تا فوراً کرول گوگل  را مسدود کند.

اگر اینگونه نباشد ، تگ های”noindex” ، canonical، و صفحات محافظت شده با رمز عبور ، را استفاده کنید.

 

 

مطالعه موردی: مطالب تولید شده توسط کاربر را کپی کنید

 

بسیاری از مطالب در بعضی سایتهای فروش در  صفحات توضیحات محصول ، همه محتوای تولید شده توسط کاربر هستند.

در اصل ، اشخاص ثالث مجاز به ایجاد لیست در سایت هستند. با این حال ، اشخاص ثالث اغلب توضیحات بسیار کوتاهی را به صفحات خود اضافه می کردند و در نتیجه محتوای کمی ایجاد می شد.

این صفحات توصیف محصول تولید شده توسط کاربر در گزارش “کرول شده – در حال حاضر فهرست نشده” گرفتار می شوند. این منجر به از دست رفتن فرصت SEO می شد زیرا صفحاتی که قادر به ایجاد ترافیک ارگانیک هستند به طور کامل از فهرست حذف شدند.

ما متوجه شدیم که صفحات توضیحات محصول مشتری از نظر محتوای منحصر به فرد کاملاً کم بوده است. صفحاتی که حذف می شدند فقط یک پاراگراف یا متن کمی دارند.

علاوه بر این ، بخش عمده محتوای درون صفحه متنی توصیف شده است که در همه صفحه ها وجود دارد. از آنجا که محتوای منحصر به فرد در صفحه وجود دارد ، محتوای قالب ممکن است باعث شد گوگل این صفحات را به صورت محتوا تکراری تشخیص دهد.

نتیجه این بود که گوگل با استناد به وضعیت “کرول – در حال حاضر فهرست ایندکس نشده” این صفحات را از فهرست حذف می کند.

برای حل این مشکلات ، ما با مشتری صحبت کردیم تا مشخص کنیم کدام یک از محتوای نوشته شده نیازی به تولید در هر صفحه توضیحات محصول ندارد. ما توانستیم محتوای غیر ضروری را از URL های زیادی حذف کنیم. این نتیجه منجر به کاهش چشمگیر صفحات “Crawled” می شود.

 

نتیجه گیری :

امیدواریم ، این مقاله به سئو کاران و وب مسترها کمک کند تا وضعیت “Crawled – در حال حاضر ایندکس نیست” در گزارش Index Coverage را درک کنند.

به احتمال زیاد دلایل بسیاری دیگر وجود دارد که گوگل می تواند URL های اینچنینی را دسته بندی کند ، اما این رایج ترین مواردی است که تا به امروز از وب سایت های مشتریان خود دیده ایم.

 

author-avatar

درباره مدیر وب سایت

شرکت نرم افزاری آسان افزار رایانه آتیه گستر (گروه نرم افزاری i-dev) با مسئولیت محدود و شماره ثبت 550646 در اداره ثبت شرکت های استان تهران ثبت شد و محوریت کاریش، طراحی و پیاده سازی و توسعه نرم افزار های تحت وب و اپلیکیشن های موبایلی با محوریت PWA و همچنین طراحی سیستم های یکپارچه سازمانی و شرکتی همانند ERP - CRM و HelpDesk می باشد.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *