در سال 1996 دو تن از اساتید دانشگاه استنفورد شکل جدیدی از موتورهای جستوجو را پایه‌ریزی کردند. در شکل قدیمی موتورهای جستوجو، رتبه‌بندی نتایج بر اساس میزان کلیدواژه‌های موجود در صفحات وبسایت انجام می‌شد ولی لاری پیج و سرجی برین رتبه‌بندی را بر اساس ارتباط بین صفحات پایه‌ریزی کردند. آنها این ایده را BackRub نامیدند، زیرا این استراتژی بر اساس بک‌لینک‌ها کار میکند.
امروزه مقایسه نحوهی عملکرد موتورهای جستوجو با یکدیگر بسیار سخت است. موتور جست‌و‌جوی گوگل در روز به میزان 5.5 میلیارد جستوجو (63000 جستوجو در هر ثانیه) انجام می‌دهد. برای هر کدام از عبارت‌های سرچ‌شده، موتور جست‌و‌جوی گوگل بین 130 تریلتون صفحه در سراسر فضای وب را بررسی میکند و در کسری از ثانیه نتیجه مناسب را نمایش می‌دهد.
برای انجام همچین عملی از تکنولوژی‌های پیشرفتهای استفاده میشود. هرچند موتور جست‌و‌جوی گوگل و سایر موتورهای جستوجو مکانیسمهای پشت پرده‌ی نحوهی رتبه‌بندی را منتشر نمی‌کنند، اما اگر بازاریابان به این مکانیسم پی ببرند، میتوانند از آن استفاده کنند.
اگر بفهمید که موتور جستوجو به چه شکل صفحات وبسایت را شناسایی، دسته‌بندی و برای نتایج انتخاب میکند، می‌توانید صفحات وبسایت را طوری طراحی کنید که در نتایج اولیه‌ی گوگل نمایش داده شده و رتبه‌ی بالایی بگیرد.
نحوه کار موتورهای جستوجو: اصول پایه‌ای
موتور جستوجو متشکل از مجموعه‌ای از مکانیسمهای مرتبط به هم است که برای شناسایی محتوای موجود در وبسایت (شامل تصویر، ویدیو، صفحات وبسایت و…) با هم کار میکنند. صاحبان وبسایتها از بهینه‌سازی موتورهای جستوجو (سئو) استفاده میکنند تا شانس خود را برای قرارگیری در صفحه نتایج بالا ببرند.
ساز و کار اصولی و پایه‌ای موتورهای جستوجو به صورت زیر است:
خزنده‌های وب: ربات‌های موتور جستوجو به‌طور مداوم فضای وب را برای صفحات جدید بررسی میکنند. خزندهها برای دریافت اطلاعات نیاز دارند تا صفحات وبسایت را به درستی ایندکس کنند. خزنده‌های موتور جستوجو سایر صفحات را از طریف لینکهای موجود پیدا میکنند.
ایندکس: ایندکس به عملیات ثبت و دسته‌بندی صفحات آنلاین گفته میشود، به‌طوری که امکان ارتباط بین محتوای صفحات و کلیدواژهها وجود داشته باشد. موتورهای جستوجو برای رتبه‌بندی کیفیت محتوا از چنین راه‌هایی استفاده میکنند.
الگوریتم‌های جستوجو: الگوریتم‌های موتور جستوجو مجموعه‌ای از محاسبات را انجام میدهند تا کیفیت صفحات وبسایت را رتبه‌بندی و میزان ارتباط کلیدواژهها را با صفحات وبسایت مشخص کنند. الگوریتم‌های موتور جستوجو بر اساس محبوبیت و کیفیت صفحات را رتبه‌بندی میکنند.
موتورهای جستوجو چطور محتوا را کراول، ایندکس و رتبه‌بندی میکند؟
موتورهای جستوجو از بیرون ساده به نظر میرسند. شما کلیدواژه را مینویسید و سپس در کسری از ثانیه نتایج مرتبط لیست میشوند؛ اما پشت این اتفاق به ظاهر ساده، محاسبات بسیار زیادی نهفته است.
کار اصلی موتورهای جستوجو قبل از اینکه مخاطب کلیدواژهها را جستوجو کند، شروع میشود. موتورهای جستوجو به صورت شبانهروزی فعالیت میکنند و اطلاعات را از سراسر وب‌سایت‌های جهان جمع‌آوری میکنند.
برای جمع‌آوری اطلاعات از وبسایتها سه مرحله طی میشود که شامل خزش در صفحات وبسایت (crawling)، فهرست کردن صفحات (indexing) و رتبه‌بندی این صفحات با استفاده از الگوریتم‌هایی مشخص است.
خزش بین صفحات وبسایتها (crawling)
موتورهای جستوجو خزندهها برای بررسی اطلاعات وبسایت وابسته هستند. خزندهها کار خود را با بررسی لیستی از وبسایتها آغاز میکنند. بر اساس این لیست، خزندهها به‌طور کاملا اتوماتیک تصمیم میگیرند که به کدام سایت‌ها سر بزنند. و از هر سایت چند دفعه بازدید شده و چند صفحه کراول شوند.
خزندهها از لینکهایی که داخل تگ HREF و SRC قرار دارند به عنوان لینک اکسترنال برای دیدن سایر صفحات استفاده میکنند. با گذر زمان خزندهها نقشهای از مسیر صفحات ایجاد میکنند.
نکاتی برای خزش بهتر
مطمئن شوید که وبسایت برای خزندهها قابل دسترس است. بدون خزش رباتها در صفحات، سایت ایندکس نمی‌شود، بنابراین جایی در نتایج گوگل نخواهد داشت. برای اطمینان از اینکه رباتها برای خزش به سایت شما بیایند، کارهای زیر را انجام دهید.
سلسه مراتب منطقی: معماری سایت را کاملا منطقی و تخت طراحی کنید، به‌طوری که جریان واضحی از دسته اصلی به سایر زیردسته‌ها ایجاد شود. این کار به شما کمک میکند که خزندهها خیلی سریع به سایت شما سر بزنند و نرخ خزش وبسایت بیشتر شود.
لینک‌ها: در هر یک از صفحات خود از لینک داخلی استفاده کنید. با استفاده از لینک داخلی، رباتها بین صفحات سایت جابهجا میشوند. صفحات بدون لینک داخلی قابل کراول نیستند، بنابراین ایندکس نمی‌شوند.
نقشه سایت: همه‌ی صفحات شامل نوشته‌ها، تصاویر، محصولات و… را در نقشه سایت قرار دهید. نقشه سایت برای خزندهها ساختاری از صفحات ایجاد میکند و به موتورهای جستوجو میگوید که صفحات سایت را به چه شکل ایندکس کنند. افزونه‌هایی مانند یوست و رنک مث برای محتوای ایجادشده برای سایت، نقشه ایجاد میکنند.
ایندکس کردن
ربات موتورهای جستوجو محتوای موجود در صفحات را به صورت دسته‌های تصاویر، فایل‌های css و html، متن، کلیدواژهها و… سازمان‌دهی میکند. این فرآیند به موتورهای جستوجو میفهماند که محتوای این صفحات در چه مورد و متناسب با کدام کلیدواژهها هستند.
موتورهای جستوجو این حجم اطلاعات از سایت‌ها را به عنوان ایندکس در دیتابیس‌های عظیم نگه‌داری میکنند.
موتور جست‌و‌جوی گوگل حدود 100.000.000 گیگابایت فضا برای ذخیره اطلاعات دارد که توسط هزاران کامپیوتر مدیریت میشوند. این کامپیوترها شبانهروز بدون خاموشی برای ذخیره و پردازش اطلاعات کار میکنند.
نکاتی برای ایندکس شدن بهتر
مطمئن شوید که خزندهها وبسایت شما را خواهند دید، قسمت‌هایی که تمایل دارید موتورهای جستوجو ایندکس کند را کنترل کنید.
URL Inspection Tool: برای اینکه متوجه شوید موتورهای جستوجو به چه شکل وبسایت شما را می‌بینند، از ابزار URL inspection Tool گوگل سرچ کنسول استفاده کنید. همچنین با استفاده از این ابزار می‌توانید از موتور جست‌و‌جوی گوگل درخواست کنید که سایت شما را ایندکس کنند.
txt : اگر میخواهید که موتور جست‌و‌جوی گوگل بعضی از صفحات سایت شما را ایندکس نکند و در نتایج جستوجو نمایش ندهد، با ویرایش فایل robots.txt می‌توانید از موتورهای جستوجو بخواهید که این صفحات را بررسی نکنند.
محدود کردن بعضی از صفحات وبسایت از موتورهای جستوجو ، در رتبه‌بندی وبسایت تاثیر منفی ندارد، از طرفی باعث مدیریت موثر نرخ خزش در وبسایت شما میشود. با محدود کردن صفحات غیرضروری، خزش صفحات ضروری سایت بیشتر میشود.
رتبه‌بندی توسط موتورهای جستوجو
در گام نهایی، موتورهای جستوجو اطلاعات ایندکس‌شده را مرتب و سپس برای هر کلمه‌ای که جستوجو میشود نتیجه‌ی مطلوبی را به کاربران نمایش می‌دهد. فرآیند ارائه نتایج بر اساس الگوریتم‌های جستوجو که شامل مجموعه‌ای از قوانین هستند، انجام میشوند.
این الگوریتم‌ها تشخیص میدهند که مخاطب دنبال چه چیزی می‌گردد.
الگوریتم‌ها از فاکتورهای زیادی برای تشخیص کیفیت صفحات استفاده میکنند. موتور جست‌و‌جوی گوگل محبوبیت محتوای موجود در صفحات را با استفاده از تعامل کاربر با صفحات تشخیص می‌دهد. بعضی از فاکتورها شامل موارد زیر است:
- کیفیت بک‌لینک‌ها
- سازگاری با موبایل
- تازگی محتوا
- درگیری مخاطب
- سرعت سایت
برای اطمینان از اینکه الگوریتم‌های موتور جست‌و‌جوی گوگل به‌درستی کار میکنند، از ارزیابی انسانی برای تست آنها استفاده میشود.
نکاتی برای رتبه‌بندی
موتورهای جستوجو تمایل دارند که مرتبط‌ترین و قابل استفاده‌ترین نتایج را به کاربران نشان دهند. این کار باعث رضایت کاربران میشود. به همین دلیل فاکتورهای موتورهای جستوجو بسیار نزدیک به قضاوت انسانی هستند. عوامل مهم در قضاوت الگوریتم‌های موتور جستوجو شامل سرعت سایت، تازگی محتوا و لینک‌سازی به مطالب مفید است.
طراحی و تازه‌سازی محتوا، بهینه‌سازی سرعت سایت، خوانایی و کاربردی بودن مطالب و تجربه خوب مخاطب از حضور در سایت، به گوگل سیگنال‌های مطلوبی برای کسب رتبه بهتر در صفحه نتایج میفرستد.
