Автор: Сергей Леонидович Киселев
«Аналитический курьер» — современная система извлечения знаний из хранилищ документов. Часть 1

Виды аналитической обработки текста документа

Система «Аналитический курьер» реализует унифицированную технологию создания и ведения распределенных информационных фондов документов.

На рисунке 7 представлена модель документа, используемая для выполнения базовых функций аналитической обработки.

Автор: Сергей Леонидович Киселев
Современный уровень информационно-аналитической работы, как, впрочем, и весь прогресс цивилизации, показывает тенденцию уменьшения роли естественного интеллекта в результатах интеллектуальной деятельности, переложения ее на автоматы, а также повышения интеллекта у систем, которые должны помогать, а затем и направлять исследование данных в зависимости от их контента. Под этим углом зрения в статье рассматриваются перспективные технологии анализа текста, которые появятся в ближайшем будущем и станут стандартом на рынке. Рассмотрим две функции систем: ввода данных в систему и формирования вторичной информации о документе, например, ключевые темы, аннотации, семантические сети документов, фактографическая информация, и др. с использованием технологии ETL (Extract-Transform-Load — выделения-преобразования-загрузки) и аналитической обработки.

Автор: Сергей Леонидович Киселев
Факты — основа современной информационной системы бизнес-разведки XFiles. Часть 2

Аналитическая обработка фактов

В системах бизнес-разведки обычно реализованы следующие базовые виды аналитической обработки фактов:

• построение исторической цепочки фактов для каждого атрибута досье объекта;
• автоматическое порождение досье на появившиеся в связях новые объекты. В случае появления в факте нового объекта — участника связи по определенному атрибуту досье (например, конкуренты), по нему автоматически создается досье, и новый объект ставится на мониторинг;
• автоматическое выявление прямых и нечетких связей объекта с другими объектами системы (связи через третий объект или по общим диапазону дат и обстоятельству места) (см. рисунок 6). При выявлении нечетких связей используются методы статистической фильтрации для устранения незначимых связей;
• построение частотных распределений фактов в виде графика и таблицы. Визуальный интерфейс поддерживает механизм drill-down, просмотр фактов, формирующих ячейку частотного распределения (см. рисунок 5);
• построение карты связей объектов для различных типов связей, визуализация и фильтрация связей по атрибутам и другим параметрам (см. рисунок 7, 8);
• поиск оптимальных (в частности, кратчайших) связей между заданными объектами;
• определение областей влияния объекта;
• формирование групп объектов, связанных между собой общностью фактов (например, место, время, содержание факта);
• поиск релевантных объектов и связей по контенту фактов; поиск объектов в базе данных по шаблону названия объекта и атрибутам содержащихся в них фактов;
• поиск фактов по их атрибутам: значение, место, время, объекты связи;
• сортировка фактов в досье по различным критериям (например, по месту, по объекту, по времени — свойствам факта).

Автор: Сергей Леонидович Киселев
Факты — основа современной информационной системы бизнес-разведки XFiles. Часть 1

Технологии обработки фактов

В связи с большой плотностью потока текстовой информации, в современных фактографических системах интенсивно развивается технология автоматического выделения фактов. Она позволяет в режиме квазиреального времени «поднять» ретроспективные фонды документов за десяток лет и получить актуальное «сырое» досье на новые объекты, что практически нереально при использовании экспертной технологии выделения фактов. В системе XFiles реализована функция сбора А-фактов из практически всех доступных типов открытых источников (Интернет, информационные агентства, корпоративные базы данных, информационные ресурсы офисных приложений и др.).

Автор: Сергей Леонидович Киселев
Система корпоративной безопасности компании является важнейшим инструментом управления предпринимательскими рисками. Задачи этой системы заключаются не столько в сборе, обработке, оценке и накоплении данных, сколько в их информационном анализе и синтезе управляющих воздействий. Эти функции возлагаются на подсистему бизнес-разведки (business intelligence) компании. Термин бизнес-разведка определяется как« широкая категория технологий, связанных со сбором, хранением, анализом и обеспечением доступа к информации с целью принятия оптимальных деловых решений».

Автор: Сергей Леонидович Киселёв | Источник: предоставлено автором для it2b

Задача состоит в анализе досье на существующие в базе данных системы описания террористических актов с целью выбора наиболее похожих на исследуемый, для выработки наиболее эффективных действий и оптимальной схемы проведения операции по освобождению заложников.

Международный опыт: аналогичные задачи решают аналитические подразделения ФБР, контртеррористические подразделения США, английская МИ-6 и другие.

Модель: предлагается модель системы, основанная на знаниях в виде хранимых структурированных описаний предыдущих терактов. Теракт имеет следующие базовые блоки описаний:

Автор: Сергей Леонидович Киселев, к.т.н. | Источник: предоставлено автором для it2b

(Окончание)

Технологии формирования досье

В условиях коллективной работы зачастую вводятся несколько фактов в один атрибут для одного объекта, после чего возникает необходимость экспертного оценивания достоверности введенных, возможно противоречивых, фактов. Для этого в БД досье хранится дополнительная информация, подтверждающая факты в форме:

• цитат из документов;
• прикрепленных к факту документов, почтовых сообщений, заключений экспертов и др.;
• видеофрагментов и графических файлов.

Автор: Сергей Леонидович Киселев, к.т.н. | Источник: предоставлено автором для it2b

Система корпоративной безопасности компании является важнейшим инструментом управления предпринимательскими рисками. Задачи этой системы заключаются не столько в сборе, обработке, оценке и накоплении данных, сколько в их информационном анализе и синтезе управляющих воздействий. Её основой является подсистема бизнес-разведки (business intelligence). Термин бизнес-разведка определяется как «широкая категория технологий, связанных со сбором, хранением, анализом и обеспечением доступа к информации с целью принятия оптимальных деловых решений».