بازدید از پنج میلیارد صفحه وب، کمتر از یک ثانیه

 

 

 

یادش بخیر، این فیلم برای دورانِ کودکی یوز بود، اون موقع حدود یک میلیارد صفحه از وب فارسی رو داشتیم. ولی الان یک یوزِ تازه نفس در راهه که تا این لحظه بیش از ۳۰ میلیارد از صفحات وب فارسی رو تحت پوشش قرار داده. منتظر خبرهای جدید ما باشید | یوزنامه – وبلاگ موتور جستجو یوز yooz.ir

سلام!

خیلی خوشحالم که به اطلاع برسونم: نسخهٔ جدید موتور جستجوی یوز از امروز در دسترس کاربران قرار گرفت. این نسخه حاصل بیش از یک سال کار کل تیم یوز در بخش‌های مختلف (از جمله واسط کاربری، خزشگر، تحلیل صفحات، الگوریتم‌های رتبه‌بندی، شاخص‌گذار و …) هست. اینجا یه اشارهٔ مختصری به تغییرات اصلی انجام شده توی این نسخه می‌کنم.

در مورد نسخهٔ جدید واسط کاربریمون، حسن جان اینجا توضیح کافی داده: http://blog.yooz.ir/?q=node/34

ما توی این مدت که موتور رو در معرض استفادهٔ کاربرا قرار دادیم، درخواست‌های بسیاری از وبمسترها داشتیم مبنی بر خزش کردن سایتشون (البته خزشگر ما به صورت خودکار سایت‌ها و صفحات رو کشف می‌کنه). توی این نسخه، ما خزشمون رو از نو و با دید متفاوتی شروع کردیم. در نتیجه این نسخه دارای داده‌های به‌روزتر خواهد بود (می‌تونید تعداد صفحاتی که از سایت شما خزش و شاخص‌گذاری شده رو با عملگر :site یا سایت: بررسی کنید، به عنوان مثال سایت:yooz.ir). نکتهٔ دیگه این که صفحاتی که از وب پاک شدن، به محض کشف توسط خزشگر ما، از نمایه (index) هم حذف می‌شن و در نتیجه خروجی جستجو، تر و تمیزتر هست.

تغییر مهم دیگه‌ای که داشتیم، توی تحلیل صفحات هست. توی این نسخه تحلیل‌گر صفحات رو از نو نوشتیم (به علت تغییرات گسترده‌ای که باید توش انجام می‌شد). نسخهٔ قدیم تحلیل‌گر صفحات، اشکالات ریز بسیاری داشت، که هر کدوم از این اشکالات باعث می‌شد برخی از صفحات درست تحلیل نشن و در نتیجه درست شاخص‌گذاری نمی‌شدن و توی جستجو هم توی خروجی نمیومدن. در نتیجه توی نسخهٔ جدید، صفحات با دادهٔ صحیح‌تری تحلیل می‌شن و در نتیجه به طور کلی نتایج جستجو بهبود پیدا کرده. در ضمن جالبه بدونید که سرعت نسخهٔ جدید تحلیل‌گر صفحاتمون چندین برابر نسخهٔ قبلی هست: الان به طور متوسط، هر صفحه در عرض کمتر از ۴۰ میلی‌ثانیه (یا ۰.۰۴ ثانیه) تحلیل می‌شه.

یکی دیگه از تغییرات اساسی‌ای که داشتیم، تغییر معماری نحوهٔ نگهداری صفحات در بخش‌های مختلف موتور هست. در نسخهٔ قبل هر بخش از موتور خودش می‌دونست که چطوری صفحات رو ذخیره کنه. توی نسخهٔ جدید، روش نگهداری صفحات در تمام بخش‌های موتور یکسان‌سازی شده و در نتیجه ایجاد تغییرات و همگام‌سازی بخش‌های مختلف بسیار راحت‌تر از قبل انجام می‌شه. نتیجه‌گیری اخلاقی این که این موضوع به ما کمک می‌کنه که بسیار سریع‌تر بتونیم تغییرات داده‌ای رو توی بخش‌های مختلف موتور اعمال کنیم.

در مورد الگوریتم‌های رتبه‌بندی نتایج توی این مدت خیلی کار کردیم. یکی از مهم‌ترین کارهایی که کردیم، این بوده که بر اساس جستجوهای کاربران توی این مدت، موتور رو به صورت ماشینی آموزش دادیم تا بتونه بهتر نتایج رو پیدا کنه (همونطور که می‌دونید، هر چقدر جستجوی کاربرا توی یه موتور جستجو بیشتر باشه، اون موتور بهتر می‌تونه خودش رو با جستجوهای کاربرا وفق بده). کارهای بسیاری در زمینهٔ رتبه‌بندی شروع کردیم که بعضیشون به نتیجه رسیدن و بقیه هنوز در حال انجام هستن. نکتهٔ مهمی که توی نسخهٔ جدید وجود داره اینه که همونطور که بالاتر گفتم، به علت تغییر معماری‌ای که داشتیم، تغییرات توی بخش‌های دیگه راحت‌تر و سریع‌تر خواهد بود. این نکته در مورد تغییرات توی الگوریتم‌های رتبه‌بندی هم صادقه و انتظار داریم که از این به بعد بسیار سریع‌تر بتونیم تغییرات الگوریتمی رو اعمال کنیم (مخصوصاً تغییراتی که نیاز به تغییر داده‌ها دارن).

بخش پاسخ هوشمند موتور هم دستخوش تغییرات زیادی شده. از جملهٔ این تغییرات، اینه که داده‌های این بخش خیلی به‌روزتر خواهد بود. همچنین در آینده ان‌شاءالله بخش‌های جدیدی به اون اضافه می‌شه.

جزئیات توی هر کدوم از این بخش‌ها فراوون هست، من فقط به گفتن کلیات بسنده کردم.

یکی از مشکلات اساسی‌ای که توی فرایند تبدیل نسخهٔ قدیم به جدید داشتیم، این بود که باید به صورت همزمان ۲ نسخه رو نگهداری می‌کردیم. در نتیجه تمام منابع مورد نیازمون رو باید ۲ برابر مصرف می‌کردیم: هم سخت‌افزار ۲ برابر باید مصرف می‌شد (یکی برای نسخهٔ قدیم که زیر بار بود و کاربرا داشتن ازش استفاده می‌کردن، یکی هم برای نسخهٔ جدید که باید هم عرض نسخهٔ قدیم آماده می‌شد)، هم کار نگهداری ۲ نسخه باید همزمان انجام می‌شد تا این فرایند انتقال به صورت کامل انجام بشه (البته پهنای باند رو ۲ برابر مصرف نمی‌کردیم، صفحات یک بار خزش می‌شدن و در هر ۲ نسخه به‌روزرسانی می‌شدن. این کار تا یه مدت انجام شد و بعد از اون دیگه نسخهٔ قدیم رو به‌روز نکردیم و فقط نسخهٔ جدید به‌روز می‌شد). الان که این فرایند نفسگیر تموم شده، می‌تونیم یه کم نفس بکشیم! چون توی این مدت از بعضی از سرورها در حد ۲۰۰٪ کار کشیدیم تا بتونیم این عملیات انتقال معماری رو انجام بدیم (منظور از ۲۰۰٪ اینه که ۲ برابر میزانی که براش در نظر گرفته بودیم و طراحی کرده بودیم). الان که این کار تموم شده، این سرورها تازه به مصرف معمولی خودشون برمی‌گردن.

البته این مسیر همچنان ادامه داره. هنوز کارهای فراوونی هست که باید انجام بدیم تا بتونیم یه موتور جستجوی خوب و در شأن کاربران ایرانی بسازیم. از شما کاربران عزیز هم تشکر می‌کنم که تا اینجا ما رو حمایت کردین، دلگرمی ما به حمایت کاربرامون هست.

ویرایش: به علت وجود یه مشکل فنی، تا دقایقی پیش مشکلی توی انتقال یوز به نسخهٔ جدید مشکلی به وجود اومده بود، و در نتیجه ممکنه توی این ۲۴ ساعت با یوز قدیمی کار کرده باشید. اگه هیچ تفاوتی بینشون ندیدید به این دلیل بوده! الان این مشکل برطرف شده و نسخهٔ جدید به صورت کامل در دسترس هست. از مشکل پیش اومده خیلی متأسفیم، امیدواریم دیگه از این مشکلا پیش نیاد!

11 دیدگاه در “بازدید از پنج میلیارد صفحه وب، کمتر از یک ثانیه

  1. سلام
    اول تشکر می کنم که نسخهٔ رو اشتباهی نسخه‌ی ننوشتید.
    دوم خداقوت براتون آرزوی موفقیت دارم.
    سوم حسن جان که فرمودید در مورد رابط کاربری خیلی توضیح نداده بود.
    چهارم: چرا یوز بازخوردها رو جواب نمی ده
    پنجم: از اشکالات مشاهده شده این بود که برخی صفحات مثل درباه ما همچنان می رفت تو نسخهٔ قدیم و الان که اصلا چیزی نمیاره چون نشونی قبل دیگه وجود نداره.

    1. ممنون

      این که حسن در مورد رابط کاربری خیلی توضیح نداده بود رو باید خودش جواب بده! 🙂

      اما این که چرا بازخوردها رو جواب نمی‌دیم، دلیل اصلیش اینه که به شدت درگیر مسائل فنی موتور هستیم، و متأسفانه خیلی فرصت نمی‌کنیم به بازخوردها جواب بدیم. البته هر روز حتماً اول کار یه سر به بخش بازخوردها می‌زنیم و مرورشون می‌کنیم، اما جواب دادن به بازخوردها خیلی بیشتر از خوندنشون وقت می‌گیره، مخصوصاً این که سعی می‌کنیم جوابامون دقیق باشه (وگرنه کشکی جواب دادن زمانی نمی‌بره!). ان‌شاءالله سعی می‌کنیم با یه برنامهٔ منظم، حتماً به بازخوردها جواب بدیم.

      در مورد این که برخی صفحات همچنان روی نسخهٔ قدیم هستن (یا بودن)، تا جایی که من می‌دونم بعضی از آدرس‌ها هنوز به نسخهٔ جدید منتقل نشدن، ولی این که می‌گین صفحه‌اش وجود نداره، اشکالیه که حتماً به تیم مربوطه ارجاع می‌شه تا بررسی کنن. اگه آدرس دقیق صفحه‌ای که مشکل داره رو برامون می‌فرستادین ممنون می‌شدیم.

      بازم ممنون از این که نظرات سازنده‌تون رو با ما در میون گذاشتید.

  2. یوز خیلی خوبه
    متشــــــــــــــــــکرم.
    یک دنیا انرژی مثبت به تیم یوز تقدیم می کنم.
    اخبار از تغییر و تحولات یوز را بیشتر منتشر کنید تا حرارت کاربران شما کم نشود!

  3. نواقص یوز
    سلام دوستان عزیز
    واقعا یوز موتور جستجوی خوبی شده ولی من تازه کاربر یوز شدم…
    وقتی از مرورگر کروم موبایل استفاده میکنم چندتا نقص بزرگ توی یوز وجود داره …
    یکی اینکه وقتی من یه کلمه رو(مثلا باران) رو جستجو کردم بعد تو لیست پیشنهاد کلمه باران رو بالا اورد و وقتی انتخابش کردم با چند حرف اول که وارد کرده بودم قاطی شدن…(شد بارباران) که چندبار اتفاق افتاده…
    و وقتی داره کلمات پیشنهادی رو بالا میاره یهو چندتارو پشت هم رد میکنه انگار قاطی کرده باشه…
    و وقتی عکس هارو میبینی مثل گوگل یه ضربدر برا خروج نداره و بازدن دکمه برگشت موبایل هم به اول لیست برمیگرده…
    و دیگه اینکه نتایج جستجو هنوز دقیق نیست لطفا بیشتر روش کار کنید چون واقعا دیگه نمیخوام از گوگل استفاده کنم …موفق باشین به امید روزی که ما هم بتونیم تحریم کنیم….

  4. سلام

    خیلی ممنون از نظرات سازنده‌تون. خیلی خوشحالیم که شما هم به جمع کاربران ما پیوستید.

    در مورد مشکلاتی که در رابطه با واسط کاربری یوز مطرح کردید، مسؤول تیم UX مون ان‌شاءالله بررسی می‌کنن و پاسخ می‌دن.

    در مورد دقت نتایج، تیم ما به شدت داره روش کار می‌کنه. یکی از پیچیده‌ترین بخش‌های موتور جستجو، الگوریتم‌های رتبه‌بندی هستن که توی تمام موتورها هم کاملاً محرمانه هستن. گوگل هم فقط کلیات الگوریتم‌های رتبه‌بندیش رو منتشر می‌کنه، جزئیاتش رو که اصل ماجرا هست هیچ وقت منتشر نکرده. برای همین یه مسئله‌ی کاملاً باز و سخت هست.

    همونطور که توی این پست توضیح دادم، طی کاری که تیم یوز در طول بیش از یک سال گذشته انجام داده، زیرساخت‌ها رو طوری آماده کردیم که راحت‌تر و سریع‌تر بتونیم الگوریتم‌های رتبه‌بندیمون رو بهبود بدیم. ان‌شاءالله در طول ۲-۳ ماه آینده تغییرات خوبی در کیفیت رتبه‌بندی نتایج مشاهده خواهید کرد.

    بازم ممنون از نظرات سازنده‌تون، وقتی نظرات شما رو می‌بینیم روحیه می‌گیریم و به آینده امیدوار می‌شیم…

  5. سلام. موتور جستجوی بسیار خوبیه. فقط نوشته اصلی سایتا که ابیه یکمی کم رنگه رنگشو یکم پرنگ ترش کنین بهتره. عععععععععععععععععععععععااااااااااااااااااالللللللللللللللیییییییی هست موتور جستجوی شما!!

پاسخ دهید