Advanced Network Technologies (ANT)

"Выживут те, у кого хватит сил поддерживать рыночную гонку. Так было и так будет всегда".

Аналитическая работа и разведка - синонимы?

Полнота, актуальность и достоверность информации на сегодняшний день являются определяющими факторами для выработки обоснованных стратегий и принятия рациональных тактических решений в сфере управления.

Гигантские объемы данных, содержащих ту или иную информацию, накопленные различными информационно-аналитическими системами, только усугубляют основное противоречие последнего десятилетия в области информатики: актуальным является оперативность и полнота не столько информационного поиска, сколько процесса контекстного анализа имеющейся информации с целью принятия решения.

В целом суть работы аналитической группы заключается в сборе исходных данных и первичной информации, её обобщении, установлении причинно-следственных связей влияния одних фактов на другие, на основании полученных результатов анализа и имеющегося опыта - агрегирование данных, подготовка аналитических справок, отчетов, и, в конечном итоге - прогнозировании развития ситуации.

Сопоставление всех фактов и установление связей при работе с информацией настолько тонко и неочевидно, что непременно возникает вопрос о существовании элемента творчества и интуиции в работе аналитиков и экспертов.

Под разведкой и аналитической работой мы понимаем любые исследования, которые ведутся по разным предметным областям (политика, экономика, наука, рынки сбыта, конкуренты, бизнес, финансы и т.д.) и сферам деятельности организации (маркетинг, продажи, логистика, производство и т.д.), результаты которых могут (и должны быть!) быть востребованы для принятия решений руководством организации.

В контексте этой статьи аналитическая работа и разведка - синонимы.

Совокупность массивов необходимой информации, знания и опыта сотрудников, эффективного аналитического инструментария составляют так называемые Корпоративные знания - которые необходимо формировать, иметь и управлять ими для поддержки на высоком уровне основных бизнес-процессов организации, а также для быстрого и адекватного реагирования на динамику рынка.

Один из важнейших компонентов Корпоративных знаний - инструментарий аналитика или информационно-аналитическая система.

Нужно отметить, что для решения задач разведки главное - это не владение информацией, а в наличие и совершенствование навыков её использования, правильное понимание круга задач и , соответственно - выбор инструмента аналитика.

Основные принципы организации аналитической работы

Весь процесс сбора, обработки, анализа информации и синтеза знаний представляет собой ряд последовательных мероприятий, повторяющихся от одной цели к другой. Этот процесс получил название разведывательный цикл.

В его состав, как правило, входят следующие основные этапы:
- Осознание - выявление внешних признаков происходящих изменений;
- Целеуказание и планирование;
- Сбор данных и потенциально значимой информации;
- Обработка данных (превращение их в информацию);
- Структурирование собранной информации (выбор формата и носителей);
- Обработка - анализ информации с помощью соответствующих методов и инструментов;
- Доступ - упаковка и упрощение доступа к информации;
- Анализ и синтез информации (превращение в знания);
- Использование информации в процессе принятия и исполнения решений;
- Распространение полученных знаний.

Собранная информация на первом этапе представляет собой первичные данные, после ее обработки (сортировки, калибровки) она превращается в информацию, и только после анализа информации и синтеза на ее основе выводов экспертом, она становится знаниями - Знаниями, дающими реальную почву руководству для принятия решений.

Важнейшим условием успешной работы эксперта-аналитика - является наличие информационного поля исследуемой предметной области, которое должно представлять собой ряд структурированных и неструктурированных информационных массивов, необходимых для извлечения из них необходимых данных.

Наиболее точная картина будет формироваться, если информационное поле будет включать в себя как данные, получаемые из внешних источников так и данные, получаемые из внутренних источников.

Основная технология аналитика - это установление причинно-следственных связей между различного рода данными и их исследование под разными углами зрения. Построение причинно-следственных цепочек позволяет обработанные данные обратить в информацию и, сделав выводы в предметной области, синтезировать соответствующие рекомендации для руководства предприятия.

Определив основные принципы организации работы аналитической группы мы можем сформировать требования к функциональности программных средств, которые должны обеспечить качественную работу аналитиков.

Функциональность инструментария аналитика

Развитие научных исследований и опытов в областях моделирования деятельности человеческого мозга, создания искусственного интеллекта, дали разработчикам математические аппараты для создания ПО в области нейронных технологий, интеллектуального поиска в неструктурированной текстовой информации (Text Mining), системы извлечения данных и систем распознания образов (Data Mining).

Разработки в этих областях привели к созданию технологии управления знаниями (Knowledge Management - КМ). Это фактически подвело разработчиков ПО к автоматизации областей человеческой деятельности, трудно поддающихся формализации, к которой можно отнести и процессы анализа информации.

Объективный анализ современных информационных технологий автоматизации бизнес-процессов организаций показывает, что наиболее полно задачам разведки отвечает КМ-технология.

Большинство программных средств КМ-технологии реализуют, как правило, следующие типичные функции:
- сбор данных из источников различных форматов (БД, неструктурированные источники и т. д.);
- накопление и хранение данных;
- рубрикацию архивов;
- поиск данных, в том числе и нечеткий поиск;
- построение отчетов в различных срезах выборки, в том числе и многомерный анализ данных;
- построение причинно-следственных цепочек данных, позволяющих определять тенденции и направления развития ситуации.

Таким образом, решения в области программного обеспечения для автоматизации процессов аналитики и разведки условно можно классифицировать по ряду признаков.

По функциональности:
- полнофункциональные;
- частичные (реализующие одну или несколько функций КМ-технологии).

По форме представления обрабатываемых данных:
- для работы со структурированными данными (цифровые данные);
- для работы с неструктурированными данными (текстовые, видео, графика);
- комбинированные.

По степени автоматизации логических операций:
- комплексы поиска и сбора данных (поисковые системы);
- аналитические комплексы (содержащие автоматизированные процедуры или методы анализа данных);
- поисково-аналитические комплексы.

В предыдущем номере журнала ("Корпоративные системы №3, 2005г.") мы достаточно подробно описали требования к КМ-системам, традиционно используемые в информационно-аналитических системах разведки.

Решения на базе КМ- технологий

В настоящее время на рынке информационных технологий в области KM и BI (Business Intelligence) представлены в основном компаниями-разработчиками ПО зарубежного происхождения, т.к. на украинском рынке такие разработки не ведутся. Лишь незначительная часть игроков российского рынка ведет разработки в интересах зарубежных заказчиков и может похвастаться собственными разработками в этой области. Это объясняется несколькими причинами:
- математический аппарат ПО в данной области относится к НИОКР в области моделирования искусственного интеллекта, что требует привлечения персонала высочайшей квалификации;
- низкая капиталоемкость ИТ-рынка стран СНГ не позволяет выделить компаниям-разработчикам необходимые инвестиции на НИОКР в данной области.
Соответственно, о полнофункциональных КМ-системах можно говорить только у крупных зарубежных разработчиков - это Convera, Autonomy, FAST, Hummingbird и т. д.

Организации, приобретая системы класса КМ, получают мощнейший информационно-аналитический инструмент, который существенно усилит аналитические подразделения и обеспечить руководство информацией для принятия решений, базирующийся на всем объеме знаний организации.

Обзор рынка КМ-систем

Обзор технологических решений на рынке КМ-систем - достаточно сложная и трудоемкая задача.

Многие зарубежные КМ-системы не представлены на нашем рынке, более того - не адаптированы для русского (а тем более!) украинского языка. Это достаточно серьезная проблема, т.к. одно из важнейших требований к системе управления знаниями - работа на многих языках (в зависимости от сфер интересов разведки) и особенно - работа в кросс-языковом режиме (см. статью в предыдущем номере журнала).

Для обеспечения работы аналитических групп кроме КМ-систем могут также использоваться информационно-поисковые системы.

В связи с этим мы попытались представить основные предложения на рынке Украины и СНГ и основных игроков в данных группах, описать возможности, особенности и состав комплексов с учетом языковой поддержки для обеспечения работы на многих языках и, особенно, на украинском и русском.

Анализ выполнялся по открытым источникам Интернет.

Решение от Convera

О компании: американская компания Convera Technologies International Ltd. (www.convera.com) (ранее - Excalibur) по данным отчетов Garthner Group уже много лет является мировым лидером в области разработки технологий поиска информации и извлечения знаний из текстов и мультимедиа данных любой природы (текстовые, графические, звук, фото, видеоизображения в файлах практически всех известных форматов).

Решение: Convera RetrievalWare (RW) - промышленная аналитическая платформа управления знаниями - оптимальное решение для организации, интеграции информационных массивов, поиска и обнаружения скрытых неочевидных знаний. Быстрая и гибкая система работает вне зависимости от точки доступа, с различными типами и хранилищами данных и с разными языками.

Применение:
- создание единого информационного пространства для обеспечения эффективной аналитической работы всех групп пользователей;
- информационная и конкурентная разведка;
- анализ и создание баз по материалам СМИ;
- распространение результатов персонализированных запросов между пользователями;
- создание специализированных территориально распределенных систем;
- обеспечение информационной безопасности предприятия (мониторинг и маршрутизация электронной почты, служебных каталогов и пр.);
- маршрутизация и классификация входной электронной почты крупных структур;
- обеспечение сотрудников предприятия неограниченной информацией из Интернета без непосредственной работы в сети (информация с заданных узлов Интернета доставляется в локальную сеть предприятия и непосредственно на рабочие места сотрудников);
- ретроконверсия документов (перевод в электронный вид), их классификация и ранжирование, создание и управление электронными архивами предприятий;
- обеспечение поиска информации на крупных Интернет - порталах, магазинах и т.д.;
- ввод, хранение, поиск и извлечение аудио-видеоинформации;
- выполнение анализ полноты имеющейся информации;
- создание информационных баз данных на компакт-дисках;
- многое другое.

Лингвистическая поддержка обеспечивается на основе:
- семантических сетей, которые представляют объекты реального мира как связанные между собой понятия с их отношениями и взаимосвязями;
- классификаторов (таксономий и онтологий), создающих разветвленные каталоги понятий и объектов анализа;
- тезаурусов - списков с системой перекрестных ссылок, необходимых для организации коллекций документов при их отыскании, отображении и хранения.

Развитая система безопасности, наследующая свойства безопасности источников информации позволяет использовать RW как средство создания территориально-распределенных информационно-аналитических систем практически для неограниченного количества пользователей.

Состав комплекса:
- RW Internet Spider - специальное приложение для поиска в обозначенных областях Интернета и Интранета;
- RW WebExpress - специальное приложение для обслуживания провайдеров, обеспечения поиска по содержимому web-сайта и электронной торговли через Интернет;
- RW CDExpress - приложение для создания портативных баз данных на компакт-дисках, содержащих поисковой механизм RW;
- ScreeningRoom (SR) - средство управления видео архивом, позволяющее наряду с визуальным поиском выделять из видеоизображений текст, соответствующий субтитрам или телетексту и преобразовывать в текст сопровождающий аудиодорожку, существует возможность создавать аннотацию к видеосюжетам storyboard;
- ·средства для системных интеграторов и разработчиков программных систем, использующих решения компании Convera - Retrieval-Ware SDK и Visual RetrievalWare SDK, позволяют разрабатывать дополнительные функциональные возможности к RW для обеспечения решения задач конкретной организации.

Языковая поддержка: Украинский, Русский, English, French, German, Spanish, Arabic, Dutch, Italian, Japanese, Portuguese, Chinese, Finnish, Korean, Romanian, Croatian, Greek, Lithuanian, Slovak, Czech, Hungarian, Norwegian, Swedish, Danish, Icelandic, Polish, Turkish, всего более 50 языков.

Кросс-языковость: Да.

Решение от Hummingbird

О компании: Канадская компания Hummingbird, Inc (www.hummingbird.com) Компания Hummingbird - один из лидеров в области разработки корпоративных решений для предоставления расширенного доступа к бизнес-информации и ресурсам предприятия.

Решение: полнофункциональный программный комплекс для управления информационными ресурсами предприятия Enterprise Information Management Systems, (EIMS).

EIMS включает в себя линейку программных продуктов, реализующих те или иные функции КМ-технологии. В состав комплекса входит ряд программных модулей.

Применение:
- распределение и оперативная доставка корпоративной информации;
- обмен данными и аналитических приложений между пользователями;
- обработка и составление отчетов;
- обеспечение доступ ко всей бизнес информации и ресурсам предприятия;
- управление документами и знаниями;
- профессиональная обработка запросов и составление отчетов;
- многое другое.

Состав комплекса:
- Hummingbird KM - Управление знаниями - предоставляет пользователям и проектным группам возможность интегрировать информационные репозитории для поиска информации и анализа документации.
- Hummingbird BI - Бизнес-аналитика - позволяет пользователю формулировать вопросы о данных и объединять результаты в отчетах; выполнять многомерный (OLAP) анализ данных и получать аналитическую информацию по различным категориям.
- Hummingbird DM - Решение по документообороту - оптимизирует процессы, связанные с получением, обменом, коллективным использованием и обеспечением защиты корпоративных информационных ресурсов, выраженных в виде электронных документов.
- Hummingbird RM - Управление записями - создает среду для управления полным жизненным циклом всех информационных активов корпорации.
- Hummingbird Collaboration - Среда коллективной работы для системы управления корпоративной информацией.
- Hummingbird Portal - Портал создан для управления документами и корпоративной информацией, интеллектуальными активами, доступом к главному хранилищу и работой в сетевой среде, управления взаимодействием и т. п.

Языковая поддержка: Русский, китайский, японский, корейский, основные европейские языки.

Кросс-языковость: Нет.

Решение от NeurOK

О компании: NeurOK (www.neurok.ru) - российско-американская группа высокотехнологичных компаний, которая поставляет готовые решения и выполняет заказные проекты по созданию информационно-поисковых систем управления знаниями на основе платформы NeurOK Semantic Suite. Более 50 человек работают в офисах компании в McLean (США), Москве и Снежинске.

Решение: NeurOK Semantic Suite - это эффективное решение задач отслеживания, организации и управления информационными потоками и массивами. Оригинальная технология распознавания тематического контекста позволяет автоматизировать многие рутинные процессы обработки информации.

Применение:
- автоматическая рубрикация информации и аннотирование каталогов;
- автоматическое создание каталогов;
- автоматический мониторинг обновлений и новостей;
- структурирование, анализ и обобщение данных;
- прогнозирование и оптимизация процессов;
- распознавание образов;
- интеграция с базами данных;
- создание интеллектуальных поисковых систем;
- поиск документов по подобию.

Состав комплекса:
- Semantic Teacher - специализированный редактор каталогов;
- Semantic Miner - компонента для автоматического создания тематического каталога;
- Semantic Explorer - система визуализации содержания текстовых коллекций и навигации в них. Иерархия тематических категорий облегчает работу с текстовыми массивами, являясь своеобразным оглавлением баз данных.
- Semantic Annotator - модуль выявляет и отмечает в документе наиболее значимые термины и фразы, в максимальной степени отражающие содержание документа.
- Semantic Scanner - программный робот с широким выбором настроек автоматически отслеживает обновления в источниках информации, будь то интернет-страницы или новостные ленты информационных агентств.

Языковая поддержка: Русский, возможны адаптация системы для других языков.

Кросс-языковость: Нет.

Решение от "Информбюро"

О компании: российская компания "Информбюро" (www.informburo.net) предоставляет широкий спектр информационно-аналитических и маркетинговых услуг, а также решений в области информационных технологий для различных субъектов рынка и структур.

Решение: программный комплекс Intellectum.BIS™ предназначен для обеспечения автоматизированного управления информационными ресурсами предприятия. В основном, продукт ориентирован на аналитические подразделения предприятий и организаций различных отраслей и видов деятельности.

Применение:
- сбор данных из источников различных форматов (БД, неструктурированных источников, web-ресурсов и т. д.);
- накопление и хранение данных, их каталогизация;
- поиск данных, в том числе и нечеткий поиск;
- рубрикация архивов;
- построение отчетов в различных срезах выборки;
- построение причинно-следственных цепочек данных, позволяющих определять тенденции и направления развития ситуации.

Состав комплекса:
- сервер комплекса - обеспечивает обработку процедур в рамках группы пользователей (по умолчанию рассчитан на 5 пользователей);
- клиентское место - интерфейс работы пользователя с комплексом, реализованный на технологии "web-клиент";
- модуль администрирования - реализует функции администрирования комплексом по разграничению прав и возможностей клиентских мест, приему и обработке поступающих данных, доставке информации к удаленным клиентским местам;
- модуль приема информации - реализует функции приема информации от различных источников, распознавания формата документа и источника поступления информации, разбития информации на статьи (если это текстовые данные), ввод информации в хранилище данных;
- почтовый робот - реализует функцию взаимодействия комплекса с почтовой системой по приему информации от различных источников информации;
- интернет-робот WEBHunter™ - реализует функцию сбора информации с заданных web-ресурсов с заданной периодичностью.

Языковая поддержка: Русский, других данных нет.

Кросс-языковость: Нет.

Решение от "Галактики"

О компании: Российская корпорация "Галактика" (www.galaktika.ru) - один из ведущих российских разработчиков комплексных решений в области автоматизации управления производственно-хозяйственной и финансовой деятельностью предприятия.

Решение: Galaktika-Zoom - автоматизированная система поиска и аналитической обработки информации, которая объединяет функции корпоративного хранилища информации, добычи данных и аналитической обработки больших массивов информации.

Применение:
- поиск и формирование информационных массивов по конкретным аспектам исследуемой проблематики, осуществляемый по ключевым словам с учетом их морфологии;
- анализ объективных смысловых связей отобранных данных,
- получение "образа" проблемы - моментальной многомерной фотографии в информационном потоке в форме ранжированного списка значимых слов, употребляемых совместно с темой проблемы;
- сравнение нескольких состояний проблемы, выявление закономерностей и тенденций (или частностей и случайностей) динамики развития изучаемой проблемы.

Языковая поддержка: Русский, других данных нет.

Кросс-языковость: Нет.

Решение от "Гарант-Парк-Интернет"

О компании: Подразделение российской компании "Гарант-Парк-Интернет" RCO Research Group (www.rco.ru) занимается апробацией и внедрением новых подходов к построению компонентов информационно-поисковых систем.

Решение: Торговая марка RCOтм объединяет продукты и решения, которые предназначены для внедрения в базы данных и информационно-поисковые системы и позволяют задействовать широкий арсенал лингвистических и аналитических средств для решения прикладных задач, требующих компьютерной обработки документов на естественном языке.

Применение: cоздание информационно-поисковых и аналитических систем, работающих с электронными документами на русском языке.

Состав комплекса:
- RCO for Oracle продукт, расширяющий возможности OracleText при работе c базами данных, содержащими документы на русском языке;
- RCO for BackOffice - продукт, расширяющий возможности Microsoft BackOffice (MS SharePoint Portal, MS Indexing Service, MS Exchange Server и MS SQL Server) при работе с документами на русском языке, обеспечивая поиск с учетом всех грамматических форм слов на основе морфологического анализа;
- RC WEB - поисковая система, обладающая возможностями как контекстного, так и реляционного поиска. Russian Context позволяет искать документы с учетом морфологии русского и английского языков, используя SQL-подобный язык запросов и комбинируя поисковые ограничения на контекст с ограничениями на заданные атрибуты документов. Продукт работает в среде Windows;
- RCO Morphology - продукт позволяет включить русскую морфологию в системы информационного поиска. Поставляется в виде динамической библиотеки (dll) для Windows;
- RCO Thesaurus Search - продукт позволяет включить тезаурус русского языка в информационно-поисковые системы для повышения полноты поиска;
- RCO Semantic Network - продукт предназначен для разработчиков информационно-поисковых и аналитических систем и позволяет выявить ключевые понятия документа, в том числе наименования персон и организаций, с ассоциативными связями между ними на основе грамматического и статистического анализа текста, а также получить несколько видов рефератов документа;
- RCO Pattern Extractor - продукт предназначен для анализа текста и распознавания в нем различных объектов в соответствии с образцами, заданными на формальном языке;
- RCO TopTree - продукт предназначен для автоматической классификации и построения иерархических рубрикаторов по заданному множеству произвольных объектов, характеризуемых набором атрибутов.
- RCO KAOT - информационно-аналитическая система для работы в локальной сети на базе MS Windows и MS Internet Information Server, которая реализует комплекс функций интеллектуального анализа и поиска текстовой информации с поддержкой Web-интерфейса пользователя;
- RCO Fact Extractor - это персональное приложение для Windows, которое предназначено для аналитической обработки текста на русском языке и выявления фактов различного типа, связанных с заданными объектами - персонами и организациями.

Языковая поддержка: Русский, английский, в мае 2005 года планируется подключить украинский.

Кросс-языковость: Нет.

Решение от "Интегрум-Техно"

О компании: Российское информационное агентство "Интегрум" (www.integrum.ru) предлагает широкий спектр онлайн услуг по информационному обеспечению бизнеса: доступ к электронным архивам, профессиональные инструменты мониторинга и анализа информации, готовые информационные продукты.

Решение: в основе лежит технология с использованием информационно-поисковой системы "Артефакт", предназначенной для накопления и хранения больших объемов текстовой и графической информации с целью выполнения эффективного поиска по всей коллекции накопленных баз данных.

Применение:
- накопления и хранения больших объемов текстовой и графической информации с целью выполнения эффективного поиска по всей коллекции накопленных баз данных.

Лингвистический аппарат основан на морфологическом словаре А. А. Зализняка.

Размер отдельной базы данных ограничивается лишь операционной средой пользователя и аппаратным обеспечением. Реализовано использование многобазового поиска (неограниченного числа баз данных одновременно).

При увеличении числа баз данных существует возможность их объединения в группу. Для каждой базы данных можно создать краткое описание, что облегчает работу с ней конечного пользователя.

Состав комплекса:
- интерфейсное веб-приложение;
- модуль универсального интерфейса поиска;
- диспетчер;
- планировщик;
- поисковый модуль;
- модуль работы с базами данных и индексом.

Языковая поддержка: Русский, английский, другие европейские языки.

Кросс-языковость: Нет.

К сожалению, объем статьи не позволяет рассмотреть другие системы, но в следующих номерах журнала мы будем продолжать описание систем, представленных на рынке Украины и СНГ.

Анализ спектра программных средств, представленных на рынке информационных технологий, демонстрирует нам достаточно широкий выбор возможностей использования средств для автоматизации аналитической деятельности. Основными факторами, определяющими выбор того или иного программного продукта, являются:
- цели и задачи аналитического подразделения;
- объемы и состав обрабатываемой информации;
- размеры предприятия;
- стоимость программных решений, удовлетворяющих вышеперечисленным требованиям и имеющийся бюджет.

Как уже отмечалось выше, наибольшими возможностями по сбору информации и извлечению из нее знаний будут обладать полнофункциональные программные комплексы, так как они обеспечат аналитику целостную информационную картину, пополняемую как внешними источниками, так и внутренней информацией предприятия.

При выборе комплекса необходимо принимать в расчет возможность дальнейшего наращивания его мощности и функциональности, качество его технического сопровождения и перспективы в будущем (устойчивость компании-разработчика). Правильный учет указанных факторов даст гарантии предприятию, что серьезные инвестиции на автоматизацию аналитической деятельности не будут выброшены на ветер, а выльются в конкурентное преимущество компании, обеспечат рост бизнеса, снизят риски хозяйствования.

Аналитика и разведка в организации - чем работать?