Принципи роботи пошукової машини Рамблер

Інтернет постійно зростає, так само як зростає і кількість користувачів, які звертаються із запитами до пошукових систем. Збільшення обсягу інформації та кількості запитів, в свою чергу, призводить до підвищення вимог до швидкості роботи пошукових машин, якості пошуку і наочності представлення результатів. Так, для того щоб користувач залишився задоволений результатом, на сьогоднішній день пошуковій системі потрібно зібрати, обробити, оновити, знайти і відсортувати в два рази більше документів, ніж рік тому. А основне завдання пошуку якраз і полягає в тому, щоб користувач був задоволений його результатами.

Коли користувач звертається із запитом до пошукової машині, він хоче знайти те, що йому потрібно, максимально швидко і просто. Отримуючи результат, він оцінює роботу системи, керуючись декількома основними параметрами. Знайшов він те, що шукав? Якщо не знайшов, то скільки разів йому довелося переформулювати запит, щоб знайти шукане? Наскільки актуальну інформацію він зміг знайти? Наскільки швидко обробляла запит пошукова машина? Наскільки зручно було представлено результати пошуку? Був шуканий результат першим або сотий? Як багато непотрібного сміття було знайдено нарівні з корисною інформацією? Чи зможе він, повернувшись завтра і давши той же запит, отримати ті ж результати?

Для того, щоб відповіді на ці питання залишалися задовільними, розробники пошукових машин постійно вдосконалюють алгоритми і принципи пошуку, додають нові функції, прискорюють роботу системи. У цій статті ми звернемося до механізму роботи пошукової машини Рамблер, і на прикладі її пристрою продемонструємо, як досягається підвищення якості і швидкості пошуку в умовах постійного зростання обсягу інформації в мережі Інтернет.

Повнота

Повнота – це одна з основних характеристик пошукової системи, яка являє собою відношення кількості знайдених за запитом документів до загальної кількості документів в Інтернеті, відповідають даним запитом. Наприклад, якщо в мережі Інтернет є 100 сторінок, що містять словосполучення “Червона площа”, а за відповідним запитом було знайдено всього 70 з них, то повнота пошуку буде 0,7. Чим повніше пошук, тим менше ймовірність, що користувач не зможе знайти потрібний йому документ, за умови, що він взагалі існує в Інтернеті.

Повнота пошуку великою мірою залежить від роботи системи збору і обробки інформації. У зв’язку з постійним зростанням кількості документів в мережі, ця система в першу чергу повинна бути масштабованої. В Рамблері масштабованість досягається за рахунок паралельного виконання завдання довільною кількістю машин.

Збором інформації займається робот-павук, який обходить сторінки з заданими URL і завантажує їх у базу даних, а потім архівує і перекладає в сховище добовими порціями. Робот розміщується на декількох машинах, і кожна з них виконує своє завдання. Так, робот на одній машині може качати нові сторінки, які ще не були відомі пошуковій системі, а на іншій – сторінки, які раніше вже були завантажені не менше місяця, але не більше року тому. Сховище у всіх машин одно. При необхідності роботу можна розподілити іншим способом, наприклад, розбивши список URL на 10 частин і роздавши їх 10 машин. Паралельна робота програми дозволяє легко витримувати додаткове навантаження: при збільшенні кількості сторінок, які треба обійти роботу, достатньо просто розподілити завдання на більшу кількість машин.

У сховищі інформація в стислому вигляді збирається і розбивається на шматки по 50 Мб. Ці частини поступово розподіляються між 70 машинами, на яких запущена програма-індексатор. Як тільки індексатор на одній з машин закінчує обробку чергової частини сторінок, він звертається за наступною порцією. У результаті на першому етапі формується багато маленьких індексних баз, кожна з яких містить інформацію про деякої частини Інтернету. Таким чином, уся інтелектуальна обробка даних здійснюється паралельно, тому прискорення процесу індексації досягається простим додаванням машин в систему.

Після того, як всі частини інформації оброблені, починається об’єднання (злиття) результатів. Завдяки тому, що часткові індексні бази і основна база, до якої звертається пошукова машина, мають однаковий формат, процедура злиття є простою і швидкою операцією, що не вимагає ніяких додаткових модифікацій часткових індексів. Основна база бере участь в аналізі як одна з частин нового індексу. Так, якщо об’єднуються 70 нових частин, то в аналізі бере участь 71 фрагмент (70 + основна база попередній редакції). Крім того, єдиний формат дозволяє проводити тестування часткових баз ще до об’єднання їх з основною, і виявляти помилки на більш ранньому етапі.

Спеціальна програма (“сливатор”) становить таблиці перенумерації документів бази. Вміст всіх частин об’єднується. Серед сторінок з однаковими адресами вибирається найбільш свіжа версія; якщо при скачуванні URL останньою інформацією була помилка 404 (запитувана сторінка не існує), вона тимчасово видаляється з індексної бази. Паралельно здійснюється склейка дублів: сторінки, які мають однакову вміст, але різні URL, об’єднуються в один документ.

Складання єдиної бази з часткових індексних баз являє собою простий і швидкий процес. Зіставлення сторінок не вимагає ніякої інтелектуальної обробки і відбувається зі швидкістю читання даних з диска. Якщо інформації, яка генерується на машинах-индексаторах, виходить занадто багато, то процедура “зливання” частин проходить у кілька етапів. На початку часткові індекси об’єднуються в кілька проміжних баз, а потім проміжні бази і основна база попередньої редакції перетинаються. Таких етапів може бути скільки завгодно. Проміжні бази можуть зливатися в інші проміжні бази, а вже потім об’єднуватися остаточно. Поетапна робота незначно уповільнює формування єдиного індексу і не відбивається на якості результатів.

Точність

Точність – ще одна основна характеристика пошукової машини, яка визначається як ступінь відповідності знайдених документів запитом користувача. Наприклад, якщо за запитом “Червона площа” знаходиться 150 документів, у 70 з них міститься словосполучення “Червона площа”, а в інших просто присутні ці слова (“червона баба кричала на всю площу”), то точність пошуку вважається рівною 70/150 (~0,5). Чим точніше пошук, тим швидше користувач знаходить потрібні йому документи, тим менше “сміття” серед них зустрічається, тим рідше знайдені документи не відповідають запитом.

Підвищення точності пошукової машини Рамблер досягається за рахунок використання різних технологій на всіх етапах обробки і пошуку інформації. Одним з найбільш цікавих процесів є розпізнавання граматичних омонімів. Омоніми – це слова, які мають однакове написання, але різний зміст. Розрізняють лексичні та граматичні омоніми. Лексичні омоніми належать до однієї частини мови, як, наприклад, іменник “бор”: хвойний ліс, сталеве свердло і хімічний елемент. Граматичні омоніми відносяться до різних частин мови, тому по написанню у них зазвичай збігаються тільки окремі форми. Прикладами граматичних омонімів можуть служити слова “піч” – іменник руська “піч” і дієслово “піч” пиріжки; “рядовий” – прикметник “рядовий” співробітник і іменник “рядовий” Іванов.

Омоніми не тільки збільшують розмір індексної бази (так як для кожного такого слова доводиться зберігати всі його можливі значення), але й негативно позначаються на точності пошуку. Якщо користувач шукає слово “дані”, йому нецікаво отримати в знайденому всі документи, які містять слово “дати”. Для того, щоб результати пошуку були точніше, модуль синтаксичного аналізу проводить розбір оточення слів-омонімів з метою встановлення їх найбільш імовірних значень. Наприклад, якщо поруч зі словом “піч” стоїть іменник (“пиріжки”, “картопля”), то з високою ймовірністю “піч” в даному контексті є дієсловом. На сьогоднішній день аналізатор здатний розпізнавати значення тільки граматичних омонімів.

Синтаксичний аналіз дозволяє також з певною ймовірністю розпізнавати деякі власні імена. Наприклад, якщо в тексті кілька слів підряд написано з великої літери, вони найчастіше являють собою власне ім’я (Петро Петрович, Московський Державний Університет). Дані про таких конструкціях враховуються при індексації та обробки запиту.

Ще один спосіб підвищення точності пошуку – це виділення стійких позначень і пошук їх як окремих лексичних одиниць. На сьогоднішній день в Рамблері реалізована система розпізнавання таких конструкцій, наприклад C++, б/в, п/п-к. Якщо за запитом С++ піднімати всі тексти, в яких присутні латинська літера С, а також знак +, то вийде величезна кількість документів, далеко не всі з яких відповідають запиту; крім того, це велика робота, що значно збільшує час пошуку.

Величезну роль у підвищенні точності пошуку грає ранжування. Користувач дуже рідко переглядає більше трьох сторінок з результатами пошуку. Тому суб’єктивно він оцінює точність з “верхнім” документам. Навіть якщо потрібний документ знайдений пошуковою машиною, але розташований на двохсотої позиції, швидше за все, він ніколи не буде знайдений користувачем.

За замовчуванням в Рамблері результати ранжуються по ступені відповідності (релевантності) запит і групуються по сайтах. При ранжируванні оцінюються різні характеристики текстів, такі як:

• Кількість входжень слів (словосполучень) у документ – чим більше разів словосполучення “Червона площа” присутній у тексті, тим вище ймовірність, що в ньому справді йдеться про Красній площі;
• Розташування слів запиту в документі – якщо словосполучення “Червона площа” присутній у заголовках або назв юридичнихі документа, документ з більшою ймовірністю присвячений Червоній площі;
• Форми слів запиту – перевага віддається входженням, в яких слова мають той же відмінок, число, відмінювання і т. д., що і у запиті користувача (“Червона площа”, а не “Червоною площею”). Крім точного збігу, виділяються дві групи форм слів – близькі і далекі. Близькими вважаються зміни за відмінками, склонениям, спряжениям, числами та родами. Далекими формами є причастя, дієприслівники і т. п. При ранжируванні перевага віддається близьким формами слів запиту.
• Відстань між словами запиту, якщо запит складається з кількох слів, то в знайдених документах оцінюється, наскільки близько один від одного розташовані ці слова. Перевага віддається документами, в яких слова запиту знаходяться ближче один до одного, тому що в цьому випадку вони з більшою ймовірністю пов’язані між собою. Наприклад, якщо слово “Червона” розташоване в тексті на 5 позиції, а слово “площа” – на 650, то швидше за все в документі йдеться не про Красній площі.
• Відносна частота (відношення кількості входжень слів запиту в документ до загальної кількості слів у документі) – якщо словосполучення зустрічається 10 разів в документі з 100 слів, то він скоріше відповідає запиту, ніж якщо воно зустрічається ті ж 10 разів в документі з 20 тисяч слів;
• Популярність – пошукова машина автоматично обчислює коефіцієнт популярності кожної сторінки Інтернет на основі даних лічильника Top100 і аналізу гіпертекстових посилань між сторінками. Перевага віддається більш популярним ресурсів.
• Посилальну вагу документа – при ранжируванні враховується посилальну вагу сторінки, розрахований на підставі обліку гіперпосилань, що містять слова запиту. Так, якщо на деякий документ словами “Червона площа” посилається велику кількість сторінок з високими поэффициентами популярності, то йому віддається пріоритет за запитом Червона площа.

Крім автоматичних способів збільшення точності пошуку, існують різні засоби, за допомогою яких користувач сам може уточнити пошук за окремими запитами. У першу чергу до них відноситься спеціальний мову пошукового запиту, використовуючи який можна обмежувати кількість знайдених документів. Наприклад, запит або його частина, взяті в лапки, обробляються буквально, з урахуванням всіх стоп-слів, форм, порядку, знаків пунктуації. Це підвищує точність пошуку, але зменшує його повноту: якщо частина, в лапках, неточна, потрібний документ знайдений не буде.

Використання логічного оператора OR (АБО) дозволяє розширити сферу пошуку і збільшити його повноту, в той час як оператор NOT (НЕ), навпаки, підвищує точність пошуку за рахунок знаходження документів, які містять одні слова запиту і не містять інші. Для підвищення точності можна також задавати відстань між словами. Якщо в шуканому словосполученні порядок слів зазвичай зберігається (наприклад, Червона площа), то в запиті для підвищення точності має сенс обмежити відстань, вказавши його в дужках через кому: (2, Червона площа). Це дозволить відсіяти документи, в яких слова червона і площа не розташовані поруч, а розкидані по тексту.

Збільшити точність можна з допомогою використання пошуку в знайденому. Уточнюючий пошук, проводиться вже не по всій індексного базі, а тільки за результатами попереднього пошуку. Таким чином, коло знайдених документів звужується. Наприклад, якщо дати запит Червона площа, а потім, провести пошук в знайденому за запитом Москва, то результат буде містити тільки ті документи, в яких йдеться про Красній площі міста Москви.

Актуальність

Актуальність – не менш важлива характеристика пошуку, яка визначається часом, який проходить з моменту публікації документів в мережі Інтернет, до занесення їх в індексну базу. Наприклад, на наступний день після теракту в Тушино величезна кількість користувачів звернулися до пошукової машини Рамблер з відповідними запитами. Об’єктивно з моменту публікації новинної інформації на цю тему минуло менше доби. Однак основні документи вже були заиндексированы і доступні для пошуку, завдяки існуванню “швидкої бази”, яка оновлюється два рази на день, а при необхідності може оновлюватися швидше.

На сьогоднішній день індексна база пошукової системи Рамблер складається з 8 частин, кожна з яких живе своїм незалежним життям. Весь Інтернет умовно поділено на 7 секторів і називається своїм кольором: червоний, оранжевий, жовтий, зелений, блакитний, синій, фіолетовий. Сайт компанії Рамблер відноситься до блакитного сектору. Інформація про web-ресурсах кожного сектора зберігається у відповідній частині індексної бази. Восьма частина – “швидка” – включає в себе сторінки, на яких розміщений лічильник Тор 100 і які ще не встигли потрапити в основну індексну базу.

Всі частини індексної бази збираються і оновлюються окремо. Так, сьогодні відбувається переіндексація і оновлення червоного сектора, завтра – оранжевого і жовтого, післязавтра – зеленого і т. д. Завдяки такому ступінчастому алгоритму в пошуковій машині регулярно з’являється свіжа інформація. Повний цикл оновлення займає близько тижня. При цьому збір інформації відбувається паралельно, а безпосередньо на виготовлення індексу документів одного сектора йде всього кілька годин. Тому існує принципова можливість оновлювати індексну базу швидше.

Поділ Інтернету на 7 секторів умовно. При необхідності він може бути розбитий на 10, 20 або 40 секторів, кожен з яких буде оброблятися автономно. У такій системі закладена можливість значного збільшення навантаження. Із зростанням обсягу інформації в мережі Інтернет зростає і індексна база пошукової машини. Поступово переіндексація і складання бази починає займати все більше часу, а процес оновлення індексу стає більш громіздким. Надходження нових даних затягується, інформація починає втрачати свою актуальність. Можливість “переділу” Інтернету на більше число секторів дозволяє утримувати розмір кожної частини бази в оптимальному діапазоні, контролювати час її складання і оновлення.

“Швидка база” відрізняється від інших частин індексу меншим обсягом і дуже оперативним поновленням: час її побудови займає близько двох годин. В базі міститься інформація про сторінки, на яких був встановлений лічильник Тор 100. Учасниками рейтингу Тор 100 є новинні портали, сайти великих компаній, Інтернет-магазини, форуми, – всі найбільш популярні ресурси в мережі. Кожен раз при установці лічильника на нову сторінку сайту, зареєстрованого в Тор 100, інформація передається в пошукову систему. Сторінка шукається у всіх кольорах основної бази і, якщо вона ще не відома пошуковій системі, відправляється в чергу на обробку. Перед обробкою сторінки додатково фільтруються, з них відбираються найбільш відвідувані. Таким чином, “вершки” з Інтернету збираються два рази на день.

“Швидка база” являє собою розумне рішення проблеми актуальності даних в пошуку. Інформаційне агентство може викласти новину через десять хвилин після її появи, тому що витрачає час тільки на верстку сторінок. Пошукова машина повинна спочатку заиндексировать текст, а на це потрібно набагато більше часу. “Швидка база” охоплює всі ресурси Інтернет, зареєстровані в Тор 100, на яких був розміщений лічильник, і які ще не встигли потрапити в основну базу. При цьому як індексуються сторінки з новинами, так і інші свіжі документи, що з’явилися в Тор 100. У результаті через добу після теракту в пошуку Рамблера була доступна не лише основна інформація, опублікована на сайтах інформаційних агенцій, яку можна знайти і прочитати в розділах новин, але і коментарі, висловлювання очевидців, обговорення на форумах, все, що було до цього часу опубліковано на найбільш відвідуваних сторінках Інтернету.

Швидкість пошуку

Швидкість пошуку тісно пов’язана з його стійкістю до навантажень. На сьогоднішній день в робочі години до пошукової машини Рамблер приходить близько 60 запитів в секунду. Така завантаженість вимагає скорочення часу обробки окремого запиту. Тут інтереси користувача та пошукової системи збігаються: відвідувач хоче отримати результати як можна швидше, а пошукова машина повинна відпрацьовувати запит максимально оперативно, щоб не гальмувати обчислення наступних.

Запит надходить в пошукову систему через маршрутизатор Cisco 6000 series. Cisco передає його найменш завантаженої машині першого рівня – frontend (1.1 – 1.3, рис. машині 1.3). Frontend, у свою чергу, відправляє запит далі, на один з восьми proxy-серверів, також вибираючи найбільш вільний сервер (2.1 – 2.8, на рис. машині 2.2). Одночасно frontend відправляє запит на машини, що здійснюють пошук по товарах (3.1 – 3.2, рис. машині 3.1) і по базі Тор 100 (4.1 – 4.2, на рис. машині 4.1). На proxy проводиться пошук за посилального індексу, і його результати разом з пошуковим запитом передаються на машини, які містять основну індексну базу, – backends (5.1.х – 5.7.х, на рис. машинам 5.1.2, 5.2.11, 5.3.1 тощо) Та ж інформація відправляється на машини “швидкої базою” (6.1 – 6.2, на рис. 6.1).

На поточний момент в пошук включено 77 backend’ів. Вони згруповані за 11 машин, і кожна група містить копію однієї з частин пошукового індексу. Таким чином, інформація про сайти, умовно входять в червоний сектор Інтернету, знаходиться на backend’ах першої групи (5.1.1 – 5.1.11 на рис), помаранчевий сектор – на backend’ах другої групи (5.2.1 – 5.2.11) і т. д. Proxy-сервер вибирає найменш завантажений backend в кожній групі машин і відправляє на нього пошуковий запит з результатами посилального пошуку. На backend’ах здійснюється пошук по частинах індексної бази і ранжування з урахуванням результатів пошуку за посилального індексу. При ранжируванні для всіх знайдених документів вираховуються ваги за конкретним запитом.

Після того, доак запит оброблений на backend’ах, інформація про результати та ранжуванні віддається назад на proxy-сервер. Туди ж надходять відсортовані результати з машин “швидкої”. Proxy інтегрує дані, отримані з восьми машин: клеїть дублі, об’єднує дзеркала сайтів, переранжирует документи до загального списку по терезам, розрахованим на backend’ах. Так, першим у списку знайденого може бути документ з машини 5.3.1, другим і третім – з 6.1, четвертим – з 5.5.2 і т. д. На proxy-сервері також реалізується побудова цитат до документів і підсвічування слів запиту в тексті. Отримані результати віддаються на frontend.

Крім інформації з proxy-сервера, frontend отримує результати пошуку по товарах і з бази Тор 100, відсортовані, з цитатами і підсвічуванням слів запиту. Frontend здійснює остаточне об’єднання результатів, генерує html із списком знайденого, вставляє банери і перев’язки (посилання на різні розділи Рамблера) і віддає html Cisco, який маршрутизує інформацію користувачеві.

Кожен з етапів обробки запиту багаторазово повторюється і захищений системою балансування навантаження. Завдяки дублюванню інформації пошукова система Рамблер є стійкою до збоїв на окремих ділянках, аварій, відмов обладнання. Якщо одна з машин перестала функціонувати, навантаження перерозподіляється на інші машини, і випадання документів з пошуку не відбувається. Масштабованість досягається простим додаванням в систему машин відповідного рівня. До недавнього часу в Рамблері працювало 45 backend’а. У зв’язку з тим, що восени навантаження на пошукові системи зазвичай зростає, число backend’ів було збільшено до 77, що дозволило значно прискорити обчислення запитів.

Ще один спосіб підвищення швидкості пошуку – “, збереження інформації про запити та результатах пошуку в буфері. Багато людей дають одні і ті ж пошукові запити. Обчислювати їх кожен раз заново було б безрозсудною витратою часу. Тому якщо запит оброблявся вже протягом деякого інтервалу часу, результати пошуку віддаються користувачеві з “.

Лінгвістичний аналіз тексту документів і запиту також дозволяє прискорити обробку інформації. Наприклад, визначення значення омонімів зменшує кількість релевантних запиту документів, які потрібно ранжувати і цитувати. Виділення стійких позначень (С++, б/у) на етапах індексації та обробки запиту призводить одночасно до підвищення точності і скорочення тимчасових витрат на обробку кожного окремого елемента позначення (раніше запит З++ оброблявся як окремо латинське С, окремо плюс і ще один плюс. Запит обчислювався довго, а серед результатів пошуку було багато нерелевантних документів, наприклад, сторінки, що містять математичні формули тощо) З цією ж метою використовуються словники стоп-слів. Стоп-слова – це найбільш частотні слова мови, які зустрічаються практично в будь-якому тексті і є малоінформативними. В основному, це службові слова – прийменники, частки, артиклі. Якщо немає спеціальних вказівок, пошукова машина ігнорує стоп-слова, що зустрічаються в запиті, щоб не витрачати час на обробку додаткової інформації, знижує якість пошуку.

Наочність

Наочність представлення результатів є необхідним компонентом зручного пошуку. На поганий вітрині легко не помітити хороший товар. По більшості запитів пошукова машина знаходить сотні, а то й тисячі документів. В наслідок нечіткості запитів або неточності пошуку, навіть перші сторінки не завжди містять тільки потрібну інформацію. Це означає, що користувачу часто доводиться проводити свій власний пошук всередині списку знайденого. Різні елементи відповідної сторінки допомагають орієнтуватися в результатах пошуку.

Угруповання по сайтах призначена для того, щоб на сторінці можна було вивести якомога більше Інтернет-ресурсів, релевантних запиту користувача. Це буває важливим, коли необхідно отримати інформацію з різних джерел. Якщо більш інформативною для відвідувача є дата оновлення або релевантність окремих документів, у повторній сторінці Рамблера існує можливість сортування по цим параметрам.

В деяких випадках буває корисним знання імені сайту. Якщо вас цікавить конкретний Інтернет-ресурс, ім’я може дати йому набагато більше інформації, ніж заголовок сторінки або цитата.

Якщо запитом відповідає більше однієї сторінки з сайту, то як результату пошуку пред’являється найбільш релевантна з них, а нижче розташовується частковий список інших документів. Це збільшує кількість потенційно корисної інформації на відповідній сторінці та часто дозволяє уточнити пошук без додаткового запиту.

Цитата допомагає визначити, наскільки корисну інформацію містить знайдений документ. Дуже часто відвідувачу не потрібно переходити за посиланням, щоб виявити, що текст не відповідає його інтересам і потребам. Іноді відповідь на питання користувача міститься безпосередньо в цитаті документа. Це економить час і підвищує ефективність роботи пошукової системи.

Відновити текст – іноді єдиний спосіб отримати доступ до вмісту знайденого документа. Ресурс буває недоступний з різних причин. Документ може бути вилучений, перенесено, змінений, але його текстове вміст деякий час зберігається в індексному базі. Крім того, всередині самого документа часто відсутня навігація, дозволяє швидко знайти фрагмент, релевантний запитом. У відновленому тексті всі слова запиту підсвічуються.

Асоціації представляють собою список запитів, які часто подаються користувачами протягом однієї пошукової сесії. Алгоритм побудови асоціацій влаштований так, що вони майже завжди пов’язані між собою за змістом. У деяких випадках асоціації дозволяють підвищити якість пошуку за рахунок уточнення запиту запит “відпочинок в Польщі” – асоціації “відпочинок в Польщі з дітьми”, “сімейний відпочинок”, “пансіонати у Польщі”), виправлення поширених помилок, можливості зорієнтуватися в незнайомій тематики (запит “антибіотик” – асоціації “сумамед”, “цифран”, “бісептол” і т. д.)

Замість висновку

Висновок пишеться в кінці і передбачає кінцівку. Але зростання інформації нескінченний, а тому немає межі вдосконаленню пошукових машин. Найважливішим завданням розробників є поліпшення якості пошуку, рух у бік більшої ефективності і зручності у використанні системи. З цією метою постійно змінюються пошукові алгоритми, створюються додаткові сервіси, допрацьовується дизайн.

Однак для того, щоб вижити в світі динамічного Інтернету, при розробці необхідно закладати великий запас стійкості, постійно заглядати в завтрашній день і приміряти майбутню навантаження на сьогоднішній пошук. Все, що сьогодні програмується в Рамблері, розраховане “на виріст”. Такий підхід дозволяє займатися не тільки постійною боротьбою і пристосуванням пошукової машини до зростаючих обсягів інформації, але і реалізовувати щось нове, дійсно важливе і потрібне для підвищення ефективності пошуку в мережі Інтернет.