برای اینکه سایت شما در نتایج بالای کوگل قرار بگیرد باید قوانین گوگل را رعایت کنید. یکی از این قوانین ایندکس کردن صفحات وب سایت است. ایندکس شدن به معنای فهرست شدن است یعنی به گوگل اجازه می دهید صفحات سایت شما را فهرست بندی کند تا راحت تر بتواند محتوای شما را به کاربرانی که در جستجوی آن هستند نمایش دهد. اما برخی اوقات لازم است از ایندکس شدن برخی از صفحات جلوگیری کنید زیرا این صفحات محتوایی ندارند که برای کاربران ارزشمند باشد و به دلایلی که در ادامه شرح می دهیم، بهتر است آن ها را Noindex کنید. در ادامه این تگ را معرفی کرده و به ضرورت و اهمیت استفاده از آن میپردازیم، پس با ما همراه شوید.
زمانی که یک سایت طراحی می کنید یا پس از طراحی سایت زمانی که صفحه جدیدی به آن اضافه می کنید، باید اجازه بدهید که گوگل این صفحات را ببیند و فهرست بندی کند تا زمانی که کاربر جستجو می کند صفحه شما را به او معرفی کند و نشان بدهد. گاهی اوقات لازم است از ایندکس شدن برخی صفحات توسط خزنده های گوگل خودداری شود تا اصطلاحا بودجه خزش crawl budget سایت هدر نرود که در دوره آموزش سئو در مشهد به طور کامل در مورد این موضوع صحبت می شود. صفحاتی مانند درباره ما، تماس با ما و ... را باید نوایندکس کنید تا از لیستی که توسط خزنده های گوگل تهیه می شود خارج گردند. به این ترتیب این صفحات در نتایج گوگل نمایش داده نخواهند شد. برای اینکه یک صفحه نوایندکس شود باید درخواست آن را از طریق یک متا تگ که به سورس html سایت شما اضافه می شود، ثبت کنید. روش های دیگری نیز وجود دارد که آنها را نیز معرفی خواهیم کرد. برای جلوگیری از محتوای تکراری نیز میتوان از تگ noindex استفاده کنید که در ادامه به این مورد نیز اشاره خواهیم کرد.
همانطور که اشاره شد، زمانی که از تگ نوایندکس استفاده می کنید در واقع از خزنده های گوگل درخواست می کنید صفحه موردنظر شما را به کاربران نمایش ندهند. علاوه بر نو ایندکس تگ دیگری به نام نو فالو nofollow وجود دارد که پیرو قوانین گوگل است و ممکن است همراه با تگ نو ایندکس به کار روند. اما نوفالو کردن یعنی چه؟ اگر در صفحه ای از وب سایت تان، لینک هایی دارید که نمی خواهید خزنده های گوگل آنها را کرال کنند، می توانید از متا تگ نو فالو استفاده کنید. پس دستور نو ایندکس می تواند با فالو یا نو فالو بودن لینک های یک صفحه همراه باشد. بطور پیش فرض تگ فالو فعال است، در صورتی که بخواهید نو فالو کنید باید تگش را در سورس سایت قرار دهید. تگ nofollow باعث می شود خزنده های موتور جستجو نتوانند لینک های موجود در صفحه را کرال کنند در نتیجه سیگنال های رتبه بندی آن صفحه به صفحاتی که به آنها پیوند می دهد منتقل نمی شود.
اگر تگ نوایندکس را اجرا کرده اید اما همچنان صفحه شما در نتایج موتور جستجو ظاهر می شود، احتمالا به این دلیل است که صفحه پس از نو ایندکس شدن کرال نشده است. برای درخواست کرال یک صفحه می توانید از ابزار URL inspection سرچ کنسول استفاده کنید.
تا اینجا آموختیم که تگ نوایندکس برای جلوگیری از شناسایی و فهرست بندی صفحات توسط موتور جستجو است. استفاده از این تگ برای صفحات کم اهمیت بسیار ضروری است، زیرا گوگل منابع کافی برای کرال کردن و فهرست بندی تمام صفحات موجود در وب ندارد. پس برای اینکه صفحات ارزشمند ایندکس شوند و بودجه کرال شما صرف صفحات کم اهمیت نشود، باید آنها را نو ایندکس کنید. در این صورت اولویت خود را به بهینه سازی صفحات مهم اختصاص داده اید. صفحاتی که باید نوایندکس شوندشامل صفحات زیر هستند:
اگر در بین محصولت سایت خود صفحاتی دارید که موجودی آنها تمام شده است و دیگر شارژ نمی شوند باید نوایندکس شوند تا دیگر در دسترس موتورهای جستجو نباشند زیرا علاوه بر اینکه بودجه خزش شما را به هدر می دهند، حس ناخوشایندی هم به کاربر القا می کنند که می تواند یک تجربه کاربری بد برای شان رقم بزند.
مثلا صفحاتی که متعلق به ناحیه کاربری در سایت شماست و یا صفحاتی که با رمز محافظت می شوند.
ممکن است شما صفحاتی در سایت داشته باشید که حاوی لینک های مفیدی هستند و به ربات ها کمک می کنند دیگر صفحات را بیابند. این صفحات به لینک سازی سایت شما کمک می کند.
بسیار اتفاق می افتد که دو یا چند صفحه از یک سایت با یک کلمه کلیدی ورودی داشته باشند. در این حالت اصطلاحات صفحات دچار کنیبال هستند. زمانی این اتفاق رخ می دهد که محتوای این صفحات تکراری باشد. در این حالت باید صفحه اصلی را نگه دارید و صفحاتی که با آن کنیبال دارند را نوایندکس کنید. همچنین برای جلوگیری از تکراری شناخته شدن محتوا توسط گوگل، علاوه بر نوایندکس کردن باید از تگ کنونیکال نیز استفاده نمایید. با استفاده از سرچ کنسول می توانید صفحاتی که دارای محتوای تکراری هستند را پیدا کرده و آنها را نوایندکس کنید. به یاد داشته باشید که نوایندکس کردن باید بخشی از استراتژی indexing شما باشد.
در نهایت صفحاتی وجود دارند که هرگز نباید نوایندکس شوند. این صفحات عبارتند از:
بطور کلی صفحاتی که انتطار دارید ترافیک ارگانیک قابل توجهی برای شما به ارمغان می آورند را نباید نوایندکس کنید.
متداول ترین راه برای نوایندکس کردن یک صفحه این است که متا تگ مربوط به آن را در تگ هدیک صفحه html قرار دهید، که به این صورت انجام می شود:
از سال 2007 بود که مورتوهای جستجو ملزم به پیروی از تگ نوایندکس در تگ های Meta Robots شدند. تگ های متا روبوتس می توانند شامل دستورالعمل های دیگری نیز باشند مانند «فالو» یا «نوفالو»، که به موتورهای جستجو می فهمانند لینک های موجود در آن صفحه را کرال کنند یا نه.
برای سایت های وردپرسی راه بسیار ساده تری برای نوایندکس کردن صفحات وجود دارد. اگر شما از یک وب سایت وردرپرسی استفاده می کنید، کافی است وارد آن صفحه شده و آن را ویرایش کنید. مطمئنا در وب سایت تان از افزونه یواست سئو یا رنک مث استفاده می کنید که هر دو پلاگین به شما امکان نو ایندکس کردن صفحه را می دهند. در صورت استفاده از هر کدام ا زاین افزونه ها، صفحه را تا پایین اسکرول کنید، در انتهای صفحه در قسمت پیشرفته گزینه ای در نظر گرفته شده که از شما می پرسد «می خواهید این صفحه ایندکس شود یا خیر؟». اگر خیر را انتخاب کنید صفحه شما نوایندکس می شود.