23 Jan 14:02 avatar

«Аналитический курьер» - современная система извлечения знаний из хранилищ документов. Часть №2


Автор: Сергей Леонидович Киселев
«Аналитический курьер» — современная система извлечения знаний из хранилищ документов. Часть 1

Виды аналитической обработки текста документа
Система «Аналитический курьер» реализует унифицированную технологию создания и ведения распределенных информационных фондов документов.

На рисунке 7 представлена модель документа, используемая для выполнения базовых функций аналитической обработки.
23 Jan 14:00 avatar

«Аналитический курьер» - современная система извлечения знаний из хранилищ документов. Часть №1


Автор: Сергей Леонидович Киселев
Современный уровень информационно-аналитической работы, как, впрочем, и весь прогресс цивилизации, показывает тенденцию уменьшения роли естественного интеллекта в результатах интеллектуальной деятельности, переложения ее на автоматы, а также повышения интеллекта у систем, которые должны помогать, а затем и направлять исследование данных в зависимости от их контента. Под этим углом зрения в статье рассматриваются перспективные технологии анализа текста, которые появятся в ближайшем будущем и станут стандартом на рынке. Рассмотрим две функции систем: ввода данных в систему и формирования вторичной информации о документе, например, ключевые темы, аннотации, семантические сети документов, фактографическая информация, и др. с использованием технологии ETL (Extract-Transform-Load — выделения-преобразования-загрузки) и аналитической обработки.
23 Jan 13:57 avatar

Факты - основа современной информационной системы бизнес-разведки XFiles. Часть №3


Автор: Сергей Леонидович Киселев
Факты — основа современной информационной системы бизнес-разведки XFiles. Часть 2

Аналитическая обработка фактов
В системах бизнес-разведки обычно реализованы следующие базовые виды аналитической обработки фактов:
  • построение исторической цепочки фактов для каждого атрибута досье объекта;
  • автоматическое порождение досье на появившиеся в связях новые объекты. В случае появления в факте нового объекта — участника связи по определенному атрибуту досье (например, конкуренты), по нему автоматически создается досье, и новый объект ставится на мониторинг;
  • автоматическое выявление прямых и нечетких связей объекта с другими объектами системы (связи через третий объект или по общим диапазону дат и обстоятельству места) (см. рисунок 6). При выявлении нечетких связей используются методы статистической фильтрации для устранения незначимых связей;
  • построение частотных распределений фактов в виде графика и таблицы. Визуальный интерфейс поддерживает механизм drill-down, просмотр фактов, формирующих ячейку частотного распределения (см. рисунок 5);
  • построение карты связей объектов для различных типов связей, визуализация и фильтрация связей по атрибутам и другим параметрам (см. рисунок 7, 8);
  • поиск оптимальных (в частности, кратчайших) связей между заданными объектами;
  • определение областей влияния объекта;
  • формирование групп объектов, связанных между собой общностью фактов (например, место, время, содержание факта);
  • поиск релевантных объектов и связей по контенту фактов; поиск объектов в базе данных по шаблону названия объекта и атрибутам содержащихся в них фактов;
  • поиск фактов по их атрибутам: значение, место, время, объекты связи;
  • сортировка фактов в досье по различным критериям (например, по месту, по объекту, по времени — свойствам факта).

23 Jan 13:55 avatar

Факты - основа современной информационной системы бизнес-разведки XFiles. Часть №2


Автор: Сергей Леонидович Киселев
Факты — основа современной информационной системы бизнес-разведки XFiles. Часть 1

Технологии обработки фактов
В связи с большой плотностью потока текстовой информации, в современных фактографических системах интенсивно развивается технология автоматического выделения фактов. Она позволяет в режиме квазиреального времени «поднять» ретроспективные фонды документов за десяток лет и получить актуальное «сырое» досье на новые объекты, что практически нереально при использовании экспертной технологии выделения фактов. В системе XFiles реализована функция сбора А-фактов из практически всех доступных типов открытых источников (Интернет, информационные агентства, корпоративные базы данных, информационные ресурсы офисных приложений и др.).
23 Jan 13:53 avatar

Факты - основа современной информационной системы бизнес-разведки XFiles. Часть №1


Автор: Сергей Леонидович Киселев
Система корпоративной безопасности компании является важнейшим инструментом управления предпринимательскими рисками. Задачи этой системы заключаются не столько в сборе, обработке, оценке и накоплении данных, сколько в их информационном анализе и синтезе управляющих воздействий. Эти функции возлагаются на подсистему бизнес-разведки (business intelligence) компании. Термин бизнес-разведка определяется как« широкая категория технологий, связанных со сбором, хранением, анализом и обеспечением доступа к информации с целью принятия оптимальных деловых решений».
20 Jan 16:24 avatar

Cистема поддержки принятия решений в области антитеррористической деятельности методом анализа прецедентов

Автор: Сергей Леонидович Киселёв | Источник: предоставлено автором для it2b

Задача состоит в анализе досье на существующие в базе данных системы описания террористических актов с целью выбора наиболее похожих на исследуемый, для выработки наиболее эффективных действий и оптимальной схемы проведения операции по освобождению заложников.

Международный опыт: аналогичные задачи решают аналитические подразделения ФБР, контртеррористические подразделения США, английская МИ-6 и другие.

Модель: предлагается модель системы, основанная на знаниях в виде хранимых структурированных описаний предыдущих терактов. Теракт имеет следующие базовые блоки описаний:
20 Jan 16:20 avatar

Бизнес-разведка: факты, объекты, связи. Часть №2

Автор: Сергей Леонидович Киселев, к.т.н. | Источник: предоставлено автором для it2b

(Окончание)

Технологии формирования досье
В условиях коллективной работы зачастую вводятся несколько фактов в один атрибут для одного объекта, после чего возникает необходимость экспертного оценивания достоверности введенных, возможно противоречивых, фактов. Для этого в БД досье хранится дополнительная информация, подтверждающая факты в форме:
  • цитат из документов;
  • прикрепленных к факту документов, почтовых сообщений, заключений экспертов и др.;
  • видеофрагментов и графических файлов.

20 Jan 16:15 avatar

Бизнес-разведка: факты, объекты, связи. Часть №1

Автор: Сергей Леонидович Киселев, к.т.н. | Источник: предоставлено автором для it2b

Система корпоративной безопасности компании является важнейшим инструментом управления предпринимательскими рисками. Задачи этой системы заключаются не столько в сборе, обработке, оценке и накоплении данных, сколько в их информационном анализе и синтезе управляющих воздействий. Её основой является подсистема бизнес-разведки (business intelligence). Термин бизнес-разведка определяется как «широкая категория технологий, связанных со сбором, хранением, анализом и обеспечением доступа к информации с целью принятия оптимальных деловых решений».