Тесты скорости работы прикладного ПО на основе SoftInform Search Technology

Прямой поиск уже давно уступил дорогу поиску с предварительной индексацией. Простейшие фразовые запросы тоже остались в прошлом – в чести учет морфологии, синонимов, важных слов и прочих «опциональных атрибутов». На горизонте маячит «персонализированный поиск» от Google и полная интеграция программ-поисковиков с WWW. А уже сейчас фразовый поиск дополняется (или заменяется?) поиском документов похожих по содержанию и смыслу, что дает возможность сократить поисковую сессию до минимума и значительно упрощает сам процесс получения нужного пользователю результата.

Введение

Для того чтобы отобразить все аспекты работы с программой полнотекстового поиска были проведены тесты на различные виды данных и различного объема. Наиболее распространенные форматы данных: TXT, HTML, DOC, RTF, PDF

Причем наиболее корректными с точки зрения работы поисковой технологии являются тесты простых форматов, так как в промышленном применении данные хранятся уже в какой-либо СУБД или хранилище данных и в поисковую систему эти данные уже попадают в виде чистого текста.

В результатах тестов – время индексации и размер индекса. Следует отметить что у SearchInform индекс при создании занимает около 50 Мб, поэтому при малом объеме тестовых данных индекс SearchInform получается приличного размера. На даных большого объема дополнительные 50 мегабайт практически не заметны.

Для проведения тестов был выбран компьютер средней производительности. Конфигурация тестового компьютера: CPU AMD Athlon 2,2 ГГц, RAM 2 Гб DDR400, HDD два IDE винчестера на 160 Гб (данные на одном HDD, индекс создавался на другом).

Описания баз для индексации

Для тестирования скорости индексирования информации и скорости поиска нами было выбрано несколько информационных баз разного размера и содержащих документы различных форматов. Базы идут по нарастающей: в каждую базу большего размера входит база размера меньшего. Например, в базу «21.85» входит база «11.1» и так далее по возрастающей.

Примечание: названия баз решено было выбрать по размеру информации в гигабайтах.

Базы «11.1», «21.85», «41.17», «83.22» – это англоязычные патенты в формате HTML. Документы физически хранятся в архивных файлах формата ZIP по 5000 – 10000 файлов в одном архиве.
База «132.26» кроме патентов в HTML на «83.22» Гб также содержит информацию из тестовых баз  форматов (DOC, RTF, PDF) и тексты «10.7».

Тесты скорости индексирования

Таблица 1

Таблица 2

Тесты показали, что по показателям скорости индексирования SearchInform примерно в 3-4 раза быстрее аналогичных разработок. Показатели тестировавшихся конкурирующих системы мы в данном документе не приводим, но если вы желаете ознакомиться с результатами, то по вашему запросу на адрес support@searchinform.com наши специалисты предоставят вам всю требуемую информацию. 

Тесты скорости поиска

Методика тестирования

Специальной программой (PhraseGen) из базы документов на диске (форматы HTML и DOC) формируется файл следующего формата:

N = A B C D etc.
Где A, B, C, D – слова в выбранной (случайным образом) фразе из различных документов
Где N – количество «мусорных слов» между словами во фразе

Данный формат воспринимается специальным тестовым модулем к системе SearchInform, который становится доступен в программе после запуска ее с ключом /debug. Далее в соответствующем меню (Debug) были заданы условия тестирования и выполнено два вида теста: по словам и по фразе.

Тестирование проводилось с использованием морфологии и заданным количеством результатов в 20 000. Количество запросов равно 1 000. Проводилось два вида тестов: по высокочастотным и низкочастотным словам.

Результаты тестов поиска по словам

Так как в реально работающей системе индекс уже используется и его первоначальная обработка уже не требует временных затрат, то для приближения теста к реальным условиям сначала выполнялся поиск по низкочастотным и высокочастотным словам без создания отчета, а уже потом проводился непосредственно тест.

Результаты скорости поиска (время затраченное на обработку 1 000 запросов) представлены ниже:

Архив с результатами скорости поиска по словам

Фактически, результаты теста показали, что поиск по высокочастотным словам в данном случае (поиска только по словам) быстрее чем по низкочастотным. Также, стоит отметить, что по мере роста объема базы скорость поиска замедляется не пропорционально. 

Результаты тестов поиска по фразам с расстоянием

Архив с результатами скорости поиска по фразам с расстоянием

В данном случае (поиск по фразе) скорость поиска по высокочастотным словам примерно в 1,5 раза медленней, чем по низкочастотным. Скорость также снижается не пропорционально росту размера информации в базе, а значительно медленней.