
موتورهای جست و جو یا Search engines نرم افزارهایی تحت وب هستند که دیتاهای بزرگی از اطلاعات دارند و با هر بار جست و جوی ما، در دیتابیس عظیم خود می گردند و بهترین نتایج را به ما ارائه می کنند. تاریخچه موتورهای جست و جو به همان سال هایی می گردد که اینترنت و سایت های اینترنتی فراگیر شده بودند. در حال حاضر موتور جستجوی بی رقیب در دنیا گوگل است.
اوج پیشرفت موتورهای جست و جو در دهه 90 میلادی بود و گوگل هم در سال 1998 توسط لری پیج و سرگئی برین ساخته شد. تا به حال این سوال در ذهنتان به وجود آمده است که موتورهای جستجو چگونه کار می کنند؟ امروز در برترآموز می خواهیم بیشتر به موتورهای جست و جو بپردازیم که ساز و کار آن ها چگونه است.
موتور جستجو یک سیستم کامپیوتری است که برای انجام جستجوی فایل های ذخیره شده در پایگاه داده از طریق عنکبوت های خزنده یا ربات ها طراحی شده است. هنگامی که موتور جستجو یک پرس و جو دریافت می کند یا یک پرس و جو در پایگاه داده انجام می دهد که نتیجه را در صفحه نتایج ارائه می دهد. اگر چندین نتیجه وجود داشته باشد، بر اساس اهمیت آنها سلسله مراتبی هستند. با توجه به حجم عظیم اطلاعات موجود در اینترنت، امروزه موتورهای جستجو یک فناوری ضروری برای عملکرد این شبکه هستند.
اینکه چه محتوایی به کاربر نشان داده شود، تماما به این بستگی دارد که محتوایی که نوشته شده تا چه حد به موضوع سرچ کاربر نزدیک باشد و غیر از آن، نیاز کاربر برطرف شود. بنابراین کسی که سایت دارد، باید قبل از هر چیزی، آموزش تولید محتوا را یاد بگیرد تا بتواند محتوایی بنویسد که به درد کاربر بخورد و نیاز وی برطرف شود.
یک موتور جستجو برای انجام کار خود چندین مرحله را انجام می دهد. ابتدا یک خزنده، وب را برای محتوایی که به فهرست موتور جستجو اضافه می شود، ترال می کند. این رباتهای کوچک میتوانند تمام بخشها و صفحات فرعی یک وبسایت، از جمله محتوایی مانند ویدیو و تصاویر را اسکن کنند.
هایپرلینک ها برای یافتن صفحات داخلی یا منابع جدید برای خزیدن هنگامی که به وب سایت های خارجی اشاره می کنند تجزیه می شوند. برای کمک به رباتها در انجام کار خزندهشان به روشی کارآمدتر، وبسایتهای بزرگتر معمولاً نقشه سایت XML خاصی را به موتور جستجو ارسال میکنند که به عنوان نقشه راه خود سایت عمل میکند. هنگامی که تمام داده ها توسط ربات ها واکشی شدند، خزنده آن را به یک کتابخانه آنلاین عظیم از همه URL های کشف شده اضافه می کند. این فرآیند ثابت و بازگشتی به عنوان نمایه سازی شناخته می شود و برای نمایش وب سایت در SERP ضروری است.
هر چه یک وب سایت در SERP رتبه بالاتری داشته باشد، باید با جستار جستجوگر مرتبط تر باشد. از آنجایی که اکثر کاربران فقط نتایج برتر را مرور می کنند، برای اطمینان از موفقیت وب سایت از نظر ترافیک، اهمیت زیادی دارد که به اندازه کافی برای جستجوهای خاص رتبه بالایی داشته باشد.
هر موتور جستجو در حال حاضر از الگوریتم اختصاصی خود استفاده می کند که بسیاری از عوامل پیچیده مانند ارتباط، دسترسی، قابلیت استفاده، سرعت صفحه، کیفیت محتوا و قصد کاربر را به منظور مرتب کردن صفحات به ترتیب خاصی می سنجد.
قبلاً تعدادی موتور جستجو با سهم بازار قابل توجهی وجود داشت. از سال 2020، گوگل اکثریت قریب به اتفاق بازار غرب را کنترل می کند. مایکروسافت بینگ حضور کمی در رتبه دوم دارد. در حالی که یاهو درخواست های زیادی ایجاد می کند، فناوری جستجوی پشتیبان آنها به مایکروسافت واگذار می شود.
در سایر مناطق جهان، موتورهای جستجوی دیگر اکثریت بازار را در اختیار دارند. به عنوان مثال، در چین، پرکاربردترین موتور جستجو Baidu است که در ابتدا در سال 2000 راه اندازی شد، در حالی که در روسیه بیش از 50٪ از کاربران از Yandex استفاده می کنند .
موتورهای جستجو به کاربران این امکان را می دهند که با استفاده از کلمات کلیدی، محتوا را در اینترنت جستجو کنند. اگرچه بازار تحت سلطه تعداد کمی است، موتورهای جستجوی زیادی وجود دارد که مردم می توانند از آنها استفاده کنند. هنگامی که یک کاربر درخواستی را در موتور جستجو وارد می کند، صفحه نتایج موتور جستجو (SERP) برگردانده می شود و صفحات یافت شده را به ترتیب مرتبط بودن آنها رتبه بندی می کند. نحوه انجام این رتبه بندی در موتورهای جستجو متفاوت است.
موتورهای جستجو اغلب الگوریتم های خود را (برنامه هایی که نتایج را رتبه بندی می کنند) تغییر می دهند تا تجربه کاربر را بهبود بخشند. این به معنای اولویت دادن به بالاترین کیفیت و مرتبط ترین صفحات است.
موتورهای جستجو را می توان بر اساس نوع اطلاعاتی که جمع آوری می کنند طبقه بندی کرد:
صرف نظر از نوع موتور جستجو، عملکرد آن در همه موارد مشابه است.
سه مرحله کلیدی برای نحوه کار اکثر موتورهای جستجو وجود دارد:
اگرچه اکثر موتورهای جستجو نکاتی را در مورد چگونگی بهبود رتبه صفحه ارائه می دهند، الگوریتم های دقیق مورد استفاده به خوبی محافظت می شوند و اغلب تغییر می کنند تا از سوء استفاده جلوگیری شود. اما با پیروی از بهترین روش بهینه سازی موتور جستجو (SEO) می توانید اطمینان حاصل کنید که:
ممکن است بسیاری از مردم بدانند که موتورهای جستجو چیست اما ساز و کار موتورهای جست و جو به چه شکل است؟
اما قبل از پرداختن به ساز و کار موتورهای جستجو لازم است این مورد خاص را نیز توضیح دهم تا ابهاماتی را رفع کنم. سایت و صفحه اینترنتی دو چیز مجزا هستند و گاهی اوقات مشاهده میکنم که این دو مورد باهم اشتباه گرفته میشوند. البته خیلی موضوع مهمی نیست.
چون موضوعی تقریباً تخصصی است و یک موضوع تخصصی برای عامه افراد مهم نیست اما چون در ادامه این مقاله از واژه صفحات اینترنتی زیاد استفاده میکنم و احتمال میدهم که ممکن است دوستی سایت و صفحه اینترنتی را با هم اشتباه بگیرد یا تفاوتشان را نداند یا هر موضوع دیگر، تفاوت سایت و صفحه اینترنتی را برایتان توضیح میدهم.
سایت مجموعه ای از صفحات وب است و صفحه اینترنتی یا صفحه وب، جز کوچکی از سایت است. برای مثال ممکن است سایتی با آدرس example.com وجود داشته باشد که 300 صفحه اینترنتی داشته باشد. این صفحات کاملا مجزا از چیزهایی مث شبکه اجتماعی است. مثلا در اینستاگرام، شما با یک صفحه در ارتباط هستید و برای کسی که آموزش اینستاگرام را می دهد، همه چیز در یک صفحه اتفاق می افتد و او درباره همان صفحه صحبت می کند.
فعالیت موتورهای جست و جو به سه بخش اصلی تقسیم می شود.
اولین کاری که باید موتورهای جست و جو انجام بدهند این است که صفحات وب تازه متولد شده را بخزند. به این نرم افزارها خزنده می گویند و شامل دو گروه Carwlers – خزنده ها و Spiders – عنکبوت ها هستند.
وظیفه این برنامه ها این است که هر چیزی که به وب اضافه می شود را بخزند. حدودا 60 تریلیون صفحه مجزا در وب وجود دارد که خزنده ها آن را می خزند و به سراغ مرحله بعد می روند.
ملاک خزیدن محتواهای جدید URL است. URL مخفف Uniform Resource Locator به معنای تعیین محل منابع است. URL در واقع همان آدرس صفحات است که وقتی یک صفحه اینترنتی را باز میکنیم در بالای نوار مرورگر نمایش داده میشود. ایده URL و طریقه استفاده از آن را برای اولین بار “تیم برنرز لی” ارائه کرد و گسترش استفاده از آن موفقیتآمیز بود.
URL همان متنی است که به هنگام جستجو، بالای نوار مرورگرتان ظاهر میشود. البته به احتمال زیاد خیلی از شما دوستان میدانید که URL چیست، اما لازم دانستم که در مورد آن توضیحات بیشتری ارائه کنم. موتورهای جستجوگر پس از خزیدن URLها و ذخیره آن ها، آن ها را فهرست میکنند و وقتی که کاربران جستجویی را انجام میدهند، در کسری از ثانیه در URLهای ذخیره شده جستجو میکنند و مرتبط ترین محتواهای مربوط به جستجوی کاربر را به او نمایش میدهند که البته در مورد فرایند نمایش بهترین نتایج به کاربران، در ادامه صحبت میکنم؟ مینویسم 🙂
البته صاحبان سایت ها میتوانند با اعمال تنظیماتی به خزندهها دستور بدهند که محتوای سایت آنها را نخزند. به جز این، خزندهها یک کار مهم دیگر هم دارند. اینکه مدام صفحات خزیده شده را دوباره بخزند تا اگر محتوای جدیدی به آن اضافهشده باشد آن را کشف کنند یا اگر محتوایی حذف شده، آن را حذف کنند.
اگر خزش آپدیت های جدید رخ ندهد چه اتفاق بدی رخ می دهد؟
ایندکسینگ به سیستمی می گویند که urlهای دریافتی را فهرست می کند. مرحله بعدی پروسه، Indexing است. Indexing به معنای فهرست کردن است و در این مرحله، موتورهای جستجو محتواهایی را قبلاً با توسط خزنده ها، اصطلاحاً خزیده یا کشف کردهاند، فهرست و دسته بندی میکنند.
یعنی مواردی چون زبان محتوا، فرمت محتوا، تاریخ محتوا، حجم محتوا، سرعت محتوا و از همه مهم تر حوزه محتوا و صدها فاکتور دیگر را بررسی میکنند. حوزه محتوا یعنی اینکه محتوای منتشرشده در چه حوزهای است؟ پزشکی، موسیقی، بازاریابی یا هر چیز دیگر.
پس از آنکه موتورهای جستجو با استفاده از خزندهها مجموعه عظیمی از محتواهای مختلف را کشف کرده و با استفاده از فرایند فهرست کردن آنها را دسته بندی کردند، همه چیز آماده نمایش بهترین و مطلوب ترین نتایج به جستجوی کاربران است. در ادامه قصد دارم در مورد فرایند نمایش بهترین نتایج به کاربران توضیح دهم.
فرایند نمایش نتایج به این شکل است:
جستجوی کاربر: کاربر از طریق باکس جستجو، چیزی را که میخواهد، جستجو میکند.
موتورهای جستجو در مدت زمانی بسیار کوتاه (کمتر از 1 ثانیه) سعی میکنند تا با بررسی صفحات خزیده شده و ذخیره شده، مرتبط ترین محتواهای مربوط به جستجوی کاربر را بازیابی کرده و به وی نمایش دهند. این محتواها در چند بخش همه (که شامل وبسایتها، ویدئوها، فایل های مختلف و…)، ویدئوها، عکسها، اخبار، نقشه و موارد دیگر تقسیم میشود.
سرعت در موتورهای جستجو خیلی مهم است به این دلیل که کاربران وب و اینترنت بسیار تنبل و بی حوصله هستند. برای مثال به خودمان برمی گردیم 🙂 ما اگر بخواهیم که یک کفش را به صورت سنتی از بازار تهیه کنیم باید حداقل 4،5 مغازه را بگردیم، کفش ها را بررسی کنیم و در نهایت بهترین مورد را خریداری کنیم. اما اگر بخواهیم یک کفش را از طریق اینترنت بخریم چقدر صبر می کنیم؟ 5 ثانیه هم سایت دیر باز شود کلافه می شویم.
فرض کنید برای 5 ثانیه عکس ها خوب باز نشوند از این دیر باز شدن عکس ها عصبانی می شویم. اگر به رفتارهایمان در هنگام استفاده از اینترنت فکر کنیم، میبینیم که ما در زمان استفاده از اینترنت و وبگردی بسیار کم حوصله هستیم و به قول معروف میخواهیم که سریع کارمان راه بیافتد. پس سرعت در اینترنت خیلی مهم است و موتورهای جستجو نیز از این موضوع مستثنی نیستند.
از این رو سرعت برای موتورهای جستجو اهمیت بسیار بالایی دارد که اگر نتایج چند ثانیه دیرتر بارگیری شوند، ما حوصله مان سر میرود و از موتور جستجو خارج میشویم و این کاملا به ضرر آن هاست. چرا؟ در پاراگراف بعدی توضیح میدهم.
عمده درآمد موتورهای جستجو از تبلیغاتی است که نمایش می دهند. هر چقدر تعداد کاربران موتورهای جستجو بیشتر باشد، درآمد آنها نیز افزایش پیدا می کند و اگر به هر دلیلی (مانند کندی سرعت در بارگیری نتایج) کاربران از یک موتور جستجو، خارج شوند درآمد آن کاهش پیدا می کند. پس آنها تا جایی که می توانند سعی می کنند که کاربران را راضی نگهدارند تا در نتیجه درآمد خودشان افزایش پیدا کند.
البته ممکن است که سایر موتورهای جستجو مانند یاهو، آمازون یا هر موتور جستجوی دیگر، در ساز و کار جمع آوری اطلاعات و نمایش نتایج به کاربران مقداری تفاوت داشته باشند، اما شمای کلی همه موتورهای جستجو، همانی است که توضیح دادیم.
در میان موتورهای جستجوی اصلی می توان موارد زیر را یافت:
بزرگ ترین موتورهای جست و جو چه هستند؟ در این بخش می خواهیم اطلاعاتی جالب از موتورهای جست و جو به دست آوریم.
خیلی از ما وقتی که می خواهیم کاری انجام دهیم به گوگل سر می زنیم یا تمامی مباحث آموزش سئو در مورد بهینه سازی سایت برای گوگل است. هر چند در ایران تعداد بسیار کمتری از سطح جهانی از سایر موتورهای جست و جو به غیر از گوگل صحبت می کنند یعنی اگر محبوبیت گوگل در سطح جهان 70% باشد (70% از بازار جست و جو دست گوگل باشد) در ایران این میزان به راحتی 90% یا حتی بیشتر است.
1- گوگل: گوگل بیش از 70% جست و جوی جهانی را به خود اختصاص داده و به علاوه بیش از 80% سرچ موبایل را نیز در دست دارد. همه اینها باعث می شود که گوگل محبوب ترین گزینه این لیست باشد اما همانگونه که گفتیم رقابت در گوگل بسیار سخت است و آنقدر هم انتخاب وجود دارد که اگر سایت شما را نپسندند به سراغ یک سایت دیگر بروند. البته این جستجوگر آنقدر ترافیک دارد که می ارزد تا برایش تلاش کنیم.
2- بینگ: بینگ موتور جست و جوی شرکت مایکروسافت است و با اختصاص 33% سرچ فقط در ایالات متحده، بزرگ ترین رقیب گوگل به شمار می رود. شمای کلی بینگ بسیار شبیه به گوگل است و نتایج هم گاها به گوگل نزدیک هستند.
3. یاهو: یاهو جزء اولین موتورهای جست و جو بود. اما با اشتباهاتی که انجام داد موجب شد که افول کند. هرچند اکنون هم فعالیت هایی انجام می دهد اما می توانست بسیار بزرگ تر از این باشد. داستان از این قرار است که یاهو بارها می خواست گوگل را بخرد اما قیمت پیشنهادی صاحبان آن را قبول نمی کرد و از خرید سر باز می رد و در نهایت هم آن را نخرید. سپس قرار شد که شرکت یاهو به فروش برسد و رقم بالایی پیشنهاد شد اما مدیران آن قبول نکردند اما چند سال بعد آن را به قیمتی خیلی ارزان تر فروختند.
یاهو توسط بینگ پشتیبانی می شود و بنابراین نتایج بینگ و یاهو خیلی به هم نزدیک هستند. این موتور جست و جوی مهم بیش از 600 میلیون کاربر ماهانه گوشی هوشمنند و بیش از یک میلیارد کاربر کلی دارد.
4- بایدو: بایدو یک موتور جست و جوی چینی است که با اختصاص بیش از 75% جستجوها بزرگترین موتور جست و جوی چین هم به شمار می رود. این موتور جست و جو مثل سایر جستجوگرها عمل می کند و زبان چینی ماندارین را در خود گنجاندوه است. همچنین این موتور جست و جو اعلام کرده که قصد دارد قوی تر شود و امکانات بیشتری را اضافه نماید. بهینه سازی سایت برای موتور جست و جوی بایدو یک مزیت مهم دارد و مزیت این است که اگر کسب و کار شما به بازار چین مرتبط است می توانید کاربران زیادی را جذب کنید. وقتی می گوییم کاربران زیاد، منظور بازار چندصد میلیونی چین است. البته سانسور در این سرچ اینجین بالاست و اگر به دنبال خبرها و مطالب آزاد هستید، این موتور جست و جو مورد مناسبی نیست.
موتورهای جست و جو درآمد بسیار زیادی از روش های مختلف کسب می کنند که میزان آن به میلیاردها دلار در چندماه می رسد. گوگل در سه ماهه گذشته بیش از 30 میلیارد دلار درآمد داشته و درآمد بینگ نیز با رشد همراه بوده و به بیش از 2.5 میلیارد دلار در سه ماهه گدشته رسیده است. درآمد یاهو نیز حدود 1 میلیارد و 330 میلیون البته از تمامی سرویس هایش بوده است. درباره جستجوگر بایدو هم باید بگوییم که این شرکت درآمدی بیش از 3 میلیارد و 700 میلیون دلار کسب کرده است.
ممکن است که استفاده از موتورهای جستجو برای شما تبدیل به یک امر تخصصی شده باشد. ممکن است که شما نیاز داشته باشید که به اطلاعات بدون سانسور دسترسی داشته باشید. شاید دو وهله اول فکر کنید که موتورهای جستجو توانایی سانسور کردن نداشته باشند. اما این موضوع کاملا اشتباه است و موتورهای جستجو میتوانند به صورت کامل یک موضوع را فیلتر کنند. به این نکته توجه داشته باشید که سانسور کردن موتورهای جستجو بیشتر از آنکه موضوعات جنسی باشد. موضوعات سیاسی اجتماعی است.
چرا که به صورت کلی سایتهای بزرگسالان معمولا توسط موتورهای جستجو نه تنها فیلتر نمیشود، بلکه گاها تبلیغ نیز میشوند. این موضوع به این دلیل است که برای آنها مصرف یک ترافیک قابل توجه دارد. از طرفی موتورهای جستجو نیز با هدف جانبی افزایش ترافیک ارزشمند فعالیت میکنند. به این نکته توجه داشته باشید که اصل کار سانسور بیشتر روی موضوعات سیاسی اجتماعی است. به عنوان مثال زمانی که جنگ روسیه و اوکراین رخ داد. موتورهای جستجو به شدت شروع به سانسور کردن، کردند و این موضوع نیز به جهت دستکاریهایی بود که به واسطه آیپی شما رخ میداد.
در نهایت به این موضوع توجه داشته باشید که شما با استفاده از سانسور موتورهای جستجو نیز میتوانید ترافیک ورودی خود را افزایش دهید. شما اگر به عنوان یک صاحب سایت بخواهید از این موضوع استفاده کنید. اولین کاری که انجام میدهید باید این باشد که زمانی که کلمات کلیدی سانسور شده را متوجه شدید با استفاده از کلمات کلیدی مترادف و مشابه آن به جذب ترافیک بپردازید.
به این نکته نیز توجه داشته باشید که پیشنهادات موتورهای جستجوی مختلف در زمان سرچ میتواند یک کمک خوب برای شما باشد. البته به این نیز توجه داشته باشید که ترافیک جذب شده شما نباید نرخ خروج شما را افزایش دهد.
شما به صورت کلی اطلاعات مناسبی در مورد موتورهای جستجو و شیوه کار موتور جستجو دارید. اما نکته بسیار مهم و اساسی در این است که چگونه شما میتوانید از این موارد به صورت تخصصی استفاده کنید
. ما در این بخش به شما موتورهای جستجو را معرفی میکنیم که برای بررسیهای تخصصی میتواند برای شما بسیار مناسب باشد. به این نکته توجه داشته باشید که موتورهای جستجو زمانی برای شما استفاده مناسبی دارند که شما بتوانید ساز و کار آن را به خوبی درک کنید. به توجه به موارد گفته شده تا این قسمت با ما تا پایان این بخش همراه باشید.
اگر شما به دنبال موتورهای جستجو برای انجام سفرهایی هوایی میباشید، می توانید از سایت SkyScanner.netو Momondo.com و Hipmunkاستفاده کنید. اگر شما به سفر علاقه دارید و به دنبال یک برنامه ریزی مناسب برای رفت و آمد خود میباشید، این گزینه میتواند برای شما جذاب باشد. از طرفی ممکن است که شما سفرهای کاری زیاد انجام میدهید، استفاده از این سایتها برای شما بسیار مفید است.
زمانی که قرار است شما برای سایت خود یک برنامه ریزی مناسب به جهت سئو و فروش داشته باشید. قطعا اولین موردی که باید به صورت ویژه به آن توجه داشته باشید، این است که یک جدول تولید محتوای عالی داشته باشید. از این رو ما در این بخش به شما موتور جستجوهایی را معرفی میکنیم که میتواند برای شما یک انتخاب بسیار عالی و مناسب باشد.
IceRocket.com – eBuzzing Labs شما با استفاده مناسب از این دو سایت میتوانید بهتر و سادهتر به محتوای دست اول دسترسی داشته باشید. به این نکته توجه کنید که شما موتور جستجویی مانند گوگل نیز میتوانید به این نتایج دسترسی داشته باشید، اما سوال اصلی این است که شما با چه سازوکار و فرمانی میتوانید به این گزینه دست پیدا کنید.
تقریبا امروز شما کمتر کسی را پیدا میکنید، که به موزیک علاقه نداشته باشد و به آن گوش نداده باشد. ممکن است که شما به دنبال یک موزیک خاص باشید، جستجو در گوگل ممکن است که برای شما اندکی زمانبر باشد. از این رو شما باید به دنبال موتورهای تخصصی مانند http://mixturtle.com باشید. در این صورت شما در زمان خود به صورت قابل ملاحظهای صرفه جویی میکنید.
بابک حیدریان مهر. دانشجوی کارشناسی مترجمی زبان انگلیسی، محقق و متخصص SEO & Digital Marketing "زندگی ممکن است پُر از درد و رنج باشد، اما واکنشِ ماست که حرف آخر را میزند". فردیش نیچه
نظرات کاربران