"Эй Эн Ти" (ANT - Advanced Network Technologies) | InfoDeliver | Система хранения и поиска

InfoDeliver - платформа извлечения знаний (корпоративная аналитическая система - решение для поиска, организации и интеграции информационных массивов, обеспечивающее как систематизацию в удобном виде очевидных знаний, так и обнаружение скрытых неочевидных знаний. InfoDeliver работает вне зависимости от точки доступа, с различными типами данных, хранилищами, с разными языками. InfoDeliver - исключительно быстрая, точная и гибкая система, позволяющая пользователям идентифицировать информационные фрагменты и их взаимосвязи, тем самым вскрывая неявные знания и помогая организации использовать весь потенциал ее информационных ресурсов.

Промышленная информационно-поисковая система InfoDeliver представляет собой мощное средство полнотекстового и атрибутивного поиска.

InfoDeliver позволяет быстро находить и получать документы, используя в качестве клиентского места обычный web-браузер. К документам, с которыми работает InfoDeliver, относятся тексты в различных форматах и кодировках, электронные таблицы, базы данных, почтовые сообщения и т.п.

Данная платформа использует технологию распределенных вычислений Apachce Hadoop, которая применяется для реализации поисковых и контекстных механизмов многих высоконагруженных веб-сайтов, в том числе Yahoo! и Facebook. Механизм разработан в рамках вычислительной парадигмы MapReduce, согласно которой, приложение разделяется на большое количество одинаковых элементарных заданий, выполняемых на узлах кластера и естественным образом сводимых в конечный результат. Это дает возможность в качестве сервера использовать кластер из устаревших и не самых мощных компьютеров.

Объем архива при этом может измеряться терабайтами, время же поиска очень мало и при увеличении объема библиотеки растет нелинейно. Архитектура InfoDeliver позволяет работать с системой как через корпоративную локальную сеть, так и через Internet. Серверная часть системы может быть установлена на всех распространенных серверных платформах, а клиентским местом может быть любая машина, имеющая Web-браузер. Система может также работать в различных многопроцессорных и распределенных многосерверных конфигурациях, что повышает ее эффективность и надежность при работе с большими объемами информации.

Источником информации может быть файловая система, системы управления базами данных (MS SQL, ORACLE и прочие ODBC-совместимые СУБД), почтовые системы.

InfoDeliver способен эффективно работать с большими (и постоянно растущими) объемами разнородной текстовой информации. Этому способствуют, в частности, мощные поисковые возможности InfoDeliver базирующиеся на использовании открытых технологий Apache Lucene.

К преимуществам применения технологии адаптивного распознавания образов APRP для поиска текстовой информации можно отнести нечеткий поиск, высокую точность и полноту поиска, поддержку мультиязыкового поиска, малые объемы индексных файлов.

Нечеткий поиск, основанный не на поиске точных совпадений слов документа со словами запроса, а на исчислении их меры близости, позволяет исключить из цикла обработки бумажных документов дорогостоящий этап ручного исправления ошибок оптического распознавания символов.

Если технология адаптивного распознавания образов APRP повышает эффективность работы с любой информацией, то технология семантического поиска ориентирована на работу со знаниями, содержащимися в текстовых документах.

Основой технологии семантического поиска является использование семантических сетей, учитывающих смысл слов языка и связи между обозначаемыми ими понятиями (следует заметить, что в данном случае термин "семантическая сеть" используется в том смысле, какой в него вкладывает InfoDeliver: речь идет о тезаурусе, позволяющем не только найти слова, связанные по смыслу с данным, но и определить количественно "семантическое расстояние между ними").

Семантическая сеть словаря русского и украинского языков включает в себя около 40 тысяч семантических групп в базовом варианте поставки (существуют и другие варианты поставки; возможно и подключение лингвистических ресурсов сторонних разработчиков). Использование семантической сети позволяет пользователю просто ввести поисковый запрос на естественном языке, предоставив системе самой искать все документы, текст которых совпадает с контекстом запроса.

Технология семантического поиска позволяет также использовать одновременно несколько словарей. Например, одновременно с базовым словарем, система может использовать отраслевой словарь, внутренний словарь организации и даже личный словарь пользователя, которые могут разрабатываться по мере необходимости.

Семантическая сеть применяется на двух этапах поиска. Во первых, после ввода запроса, входящие в него слова дополняются связанными с ними по смыслу словами (синонимами, вариантами написания, аббревиатурами и т.п.). Это позволяет находить и те документы, в которых фигурирующая в запросе идея выражена по-другому (например, слово "РОССИЯ" будет расширено словами "РОССИЙСКАЯ ФЕДЕРАЦИЯ", "РФ" и т.д.). Вторым этапом поиска, на котором используется семантическая сеть, является упорядочивание найденных документов по степени соответствия запросу. Применение семантики позволяет учитывать общий контекст документа.

При работе с текстами на разных языках, семантические сети InfoDeliver позволяют организовать многоязычный поиск в обоих смыслах - то есть как multy-language search (возможность использовать разные языки в одном запросе и указывать язык в явном виде), так и cross-language search (словарный перевод запроса на все языки, документы на которых есть в системе). В настоящий момент в InfoDeliver есть поддержка следующих языков: русского, украинского и английского.

Помимо вышеперечисленного, InfoDeliver обладает развитым языком построения поисковых запросом, включающим в себя логические и контекстные операторы.

Результаты поиска отображаются в виде списка найденных документов. По умолчанию список отсортирован по релевантности, однако может быть задан любой другой критерий сортировки (по значению атрибутов, по времени добавления в индекс и т.п.) - в том числе и составной. Отчет может быть иерархически сгруппирован по атрибутам документов (соответственно, при группировке отчета по атрибуту "Источник" отчет представляет собой дерево, первый уровень которого содержит список всех источников, к которым принадлежат найденные документы, а второй - сами документы).

Модульная структура InfoDeliver позволяет наилучшим образом настраивать эту систему на решение стоящей перед пользователем задачи.

Система хранения и поиска InfoDeliver