"Амулет" -  служба безопасности, охрана, юридические услуги, системы безопасности

"Амулет" - безопасность бизнеса, охрана, юридическая поддержка

"Амулет" -  служба безопасности, охрана, юридические услуги, системы безопасности
начало
о компании услуги вопрос-ответ осторожно! информация отдых контакты

 

 







год основания службы безопасности  АМУЛЕТ

"Амулет" - безопасность бизнеса, охрана, юридическая поддержка
Цели деловой разведки. Объективные предпосылки для развития систем ДР.

Исследования

 

Игорь Евсиков

 

 

Цели деловой разведки[К1] . Объективные предпосылки для развития систем ДР.

 

 

Любая информационно-аналитическая разведывательная (исследовательская) задача, к какой бы предметной области она бы не относилась, в своем решении последовательно проходит четыре этапа: постановка задачи, поиск данных, анализ данных и представление информации.

Если учесть, что с развитием компьютерных систем и сети Интернета роль открытых источников информации в информационно-аналитической работе (ИАР) увеличилась с 80% до 90-95%, то первую роль начинают играть средства анализа данных.

 

Необходимость же интеллектуального автоматизированного анализа данных (ИАД) становится очевидной в первую очередь из-за огромных объемов уже накопленной и вновь получаемой информации. Невозможно дать сколько-нибудь точную оценку объема данных, ежедневно получаемых различными государственными, научными и другими организациями, ведомствами и компаниями. Приведем два примера: по мнению специалистов исследовательского центра  компании GTE только научные институты собирают ежедневно около терабайта новых данных. Компания Lexis-Nexis, один из ведущих поставщиков информации на мировом рынке, имеет более 18600 постоянных информационных источников и более 1,4 млрд. документов. Каждые четыре секунды в информационные базы подгружается 93 документа, что составляет более 14 млн. документов в неделю. Общий объем накопленной информации  превышает 1 Тбайт.

 

В современной отечественной литературе еще нет устоявшейся терминологии  по многим из рассматриваемых вопросов, поэтому автор ограничится лишь содержательным обсуждением, затрагивая  в основном лишь те аспекты, которые важны для дальнейшего использования.

 

Data Warehousing – (хранилище или склад данных) - совокупность систем для информационной поддержки принятия решений путем доставки необходимой, актуальной и верной информации в нужное время и место. Несколько более упрощенным вариантом хранилища данных могут считаться витрины (киоски) данных – Data Mart –хранилища тематических подмножеств данных, содержащие информацию по отдельным аспектам деятельности  организации.

 

Data Mining - (интеллектуальный анализ данных – ИАД) - это совокупность методов для аналитической поддержки принятия решений, путем выявления значимых корреляций, образцов и тенденций в больших объемах данных.

 

Business Intelligence (BI) –совокупность методов ИАД, систем поддержки принятия решений (СППР), составления сложных отчетов и систем доставки информации до конечного пользователя. Иногда используется термин конкурентная разведка, но, как правило, он чаще используется при описании совокупности методов не являющихся автоматизированными и не использующих средства электронно-вычислительной техники (ЭВТ).

 

По оценкам специалистов фирмы IBM, при отсутствии средств BI 70% времени тратится на сбор и анализ данных, а только 30% на принятие решений. При наличии средств BI показатели меняются местами – только 30% требуется на сбор и анализ данных, а 70% времени можно потратить на принятие решений, что позволяет говорить о важности этой технологии для современного делового мира.

 

Обобщая вышесказанное, можно сказать, что BI является новой парадигмой ИАР, и заключается в автоматизированной обработке большого количества информации с целью использования результатов анализа данных для принятия обоснованных и своевременных решений.

 

Типовые задачи, решаемые средствами BI.

 

Последовательность действий при BI условно можно разделить на три большие части:

-     консолидация данных разнообразных типов, хранящихся в различных БД и способных включать разнообразнейшие вопросы, связанные, например, с образом жизни различных групп населения, юридическими, правительственными и другими ограничениями, а также финансовыми, экономическими, демографическими, географическими и различными другими типами данных;

- автоматизированную генерацию и проверку гипотез об оптимальном решении поставленной задачи путем прогнозирования поведения исследуемого объекта, ранжирования, сегментации, профилирования наилучших результатов, выявления ассоциаций и исключений и т.д.;

рекомендации и действия по реализации решений, например, по удержанию клиентов (электората), оптимизации списка рассылки и планированию расположения отделов в магазинах, совместному маркетингу продуктов (корреляции в продажах), уменьшению риска при работе с клиентами и при размещении денежных средств и т.д.;

 

Рассмотрим некоторые возможности применения BI более подробно на экономических и политических примерах.

 

Маркетинговый анализ. Разработке эффективного маркетингового плана предшествует анализ того, каким образом на объем продаж  влияют такие факторы как себестоимость товара, затраты на продвижение продукции и рекламу. Задача часто решается путем прогнозирования объемов продаж, затрат и других параметров с учетом многочисленных, часто взаимонесвязанных факторов – сезонных, региональных, макро- и микроэкономических, политических и т.д. Можно также выявлять корреляции в продажах, например “покупке первого системного блока, как правило, сопутствует покупка монитора”.

Анализ работы персонала. Производительность труда служащих может зависеть от множества плохо формализуемых понятий: уровня базовой подготовки и качества переподготовки, от мотиваций, оплаты труда, опыта работы, взаимоотношений с коллективом и руководством и т.д. Путем анализа этих и некоторых других факторов, можно выработать методику повышения производительности труда, а также предложить стратегию подбора кадров.

Профилирование и оценка потенциальных клиентов. С помощью ряда методов можно среди многочисленных кандидатов в депутаты выбрать тех, сотрудничество с которыми наиболее перспективно – получить портрет “типичного кандидата”. Анализ опыта работы с кандидатами позволяет выявить характерные особенности тех из них, работа с которыми дала положительный результат на выборах. Используя полученные результаты, политологи могут остановиться на более перспективных кандидатах. Кроме того, можно выяснить, почему работа с некоторыми из заказчиков стала неэффективной, и выработать стратегию поиска подходящих клиентов в будущем. Использование этих методов банками позволяет давать оценки кредитоспособности клиентов.

Задача обратная предыдущей – персонификация клиента. Знание некоторых особенностей жизни клиента позволяет перейти на совершенно иной уровень его обслуживания. Так, например, у клиента банка изменился адрес. Полученная дополнительная информация говорит о том, что клиент недавно переехал. Клиент пользуется доверием банка, и банк может предложить ему ссуду на обустройство. Причем, все это может происходить автоматически.

Анализ результатов маркетинговых исследований. Для оценки реакции электората на действия политика, кроме обычного политологического анализа, необходимо проводить социологические опросы. Это позволяет усовершенствовать процесс принятия решений по направленности и действенности PR-акций, проигрывая сценарии по принципу “что, если”.

Анализ работы региональных отделений. С помощью ряда моделей можно сравнивать результаты деятельности региональных отделений компании (политического движения) и определять, от чего зависит эффективность их работы (региональные особенности, численность и “качество” персонала, ассортимент продукции/услуг, наличие ясной стратегии PR-акций и т.д.). Результаты могут использоваться для оптимизации работы “отстающих” отделений, а также при планировании создания новых филиалов.

Сравнительный анализ конкурирующих фирм. Что позволяет некоторым компаниям удерживать прочные позиции на рынке и процветать, а другим нет? Какие направления деятельности  на текущий момент являются самыми выгодными? Чтобы ответить на эти вопросы можно сравнить деятельность конкурирующих компаний и выяснить, какие факторы определяют прибыльность их бизнеса.

Очевидно, что перечисленные задачи актуальны практически для всех отраслей бизнеса: банковского дела и страхования (выявление злоупотреблений с кредитными карточками, оценка кредитных рисков, оценка закладных, выявление профилей пользователей, оценка эффективности региональных отделений, вероятность подачи заявки на выплату страховки и др.), финансовых рынков (прогнозирование, анализ инвестиций), производства (прогнозирование спроса, контроль качества, оценка дизайна продукции), политики, торговли и т. д.

 

Основные технологии BI

 

Как правило, для аналитической обработки используются следующие группы алгоритмов и методов. В первую очередь это, безусловно, статистические пакеты, использующие методы математической статистики, в том числе корреляционного, регрессионного, факторного, кластерного анализа, и некоторых других. В основном это связано как с глубокой математической проработкой вопросов статистики, большим числом эффективных алгоритмов, так и со значительным опытом применения в научных и инженерных приложениях. К недостаткам этих методов следует отнести особенно большие требования, предъявляемые к математическим познаниям пользователей. К примерам таких пакетов, присутствующим на российском рынке следует отнести SAS (компания SAS Institute), SPPS (SPSS), Statgraphigs (Manugistic), Statistica (StatSoft),  а также чисто математические пакеты Mathematica (Wolfram Research), MathCAD (MathSoft) и MatLab (MathWorks). Стоимость таких пакетов составляет от 800 до 10000 долларов.

 

Другую большую группу алгоритмов авторы объединили под известным в литературе общим названием A-Life. К ним авторы относят нейронные сети, генетические алгоритмы, эволюционное программирование и некоторые другие методы. Общим у этих методов является то, что они, в какой-то мере, формализуют принципы процессов происходящих в живой природе, будь то моделирование процессов, происходящих в головном мозге (нейронные сети), популяции клеток или особей (генетические алгоритмы и эволюционное программирование). Применение методов A-Life в BI может  служить темой отдельной статьи.

 

Искусственный интеллект (ИИ). Под этим термином подразумевают некоторое обобщение разнообразных по природе методов, как заметил Г.С. Поспелов, служащих для “применения компьютера в творческой деятельности”. Другое краткое определение, предложенное Д.А. Поспеловым, - "наука о знаниях, о том, как их добывать, представлять в искусственных системах, перерабатывать внутри системы и использовать для решения практических задач". Включает в себя большое количество различных научных направлений. Это, в частности, компьютерные логика и лингвистика, когнитивная графика, экспертные системы и инженерия знаний. Многие известные пакеты включают в себя модули ИИ, берущие на себя какие-либо конкретные функции. Применение методов ИИ в BI требует отдельного исследования, а здесь необходимо упомянуть ДСМ-метод, разработанный на основе методов математической логики, одной из важных составляющих которого является автоматическая генерация гипотез.

 

Нелинейные динамические системы. Современная "нелинейная наука" (теория катастроф, фрактальная геометрия, синергетика, теория хаоса) изучает самоорганизацию сложных систем, особенности совместного поведения сложных систем, качественные изменения их свойств при незначительных гладких вариациях параметров, развитие хаоса, подчинение большинства характеристик системы немногим "значимым" параметрам. Эти методы позволяют предсказывать поведение различных систем (экономических, политических, военных, банковских и т.д.), вблизи т.н. особых точек их состояния, что особенно актуально для России с ее состоянием, крайне далеким от равновесного.

 

Нечеткая логика. Большинство знаний и понятий, используемых человеком – нечетко. К сожалению, современные средства ЭВТ, как правило, "понимают" только математически строго формализованные знания, что является одним из сдерживающих факторов внедрения ЭВТ в слабоформализованные области знаний. Одной из попыток преодолеть этот недостаток является предложенная Заде математическая теория нечетких множеств, открывающая возможности моделирования различного рода неопределенностей неизбежных при описании состояния действительно сложных технических систем и/или внешнего мира.

 

В качестве скорее не метода, а методологии, следует упомянуть средства представления информации путем использования методов визуализации. В настоящее время, в связи со значительным развитием вычислительных мощностей как средств ЭВТ, так и их графических подсистем, те средства, что раньше было доступны только специалистам, работающим на суперкомпьютерах, становятся все доступнее рядовому пользователю. Кроме того, необходимо отметить тот факт, что недавно фирма IBM открыла исходные тексты Data Explorer – одного из ведущих продуктов в сфере визуализации, а это, в свою очередь, может еще больше расширить круг пользователей, использующих эту технологию. Различные графические представления с возможностями манипулирования данными, позволяют пользователю на значительно более высоком уровне восприятия выявлять закономерности и отношения между этими данными. Недаром, по оценкам зарубежных исследователей львиная доля вычислительных мощностей суперкомпьютеров (до 80%) будет тратиться на визуализацию данных в виде, удобном для пользователя.

 

Специфика российского рынка средств BI.

 

К основным особенностям средств BI следует отнести то, что это не просто программный продукт - это методология мышления. Их создание и использование невозможно без учета множества факторов, как внутренних, так и внешних. Но самое главное, это невозможно без конкретного человека, который был бы заинтересован в продвижении этой технологии. Многие понимают, что использование средств BI является реальным способом повышения эффективности работы. Вопрос не в том, нужны ли новые технологии, а в том, как их лучше применить в каждом конкретном случае. Вся информационная инфраструктура организации должна быть построена вокруг системы BI. Должна быть проделана колоссальная работа по постановке задачи, анализу методов решения, консолидации и верификации данных, выработке рекомендаций, реализации выбранного подхода, оптимизации, сопровождению и т.д.

 

Кроме этих, в принципе общих для всех сложностей, существует еще и пресловутая российская специфика. К основным особенностям российского бизнеса на современном этапе его развития можно отнести крайнюю нестабильность в политической, экономической, правовой, налоговой и многих других сферах. Даже существует российский перечень форс-мажорных обстоятельств: “в случае наводнения, землетрясения, Указов Президента”. Когда правила игры меняются по семь раз на дню, очень сложно получить от системы стабильную и эффективную работу.

 

Другой особенностью российской экономики является немногочисленность анализируемых  данных. Это связано с тем, что большинство отечественных субъектов хозяйствования существуют сравнительно недолго, а те, кто существует достаточно долго, раньше работали в совершенно иных условиях. Накопленной ими внутренней информации зачастую оказывается недостаточно для выработки на ее основе эффективной стратегии BI. Как правило, многим профессионалам из сферы бизнеса и финансов не хватает внутренних исторических данных, описывающих поведение изучаемого объекта, принятые в прошлом решения, их результаты и т. д. Разумеется, для того чтобы применение систем BI в практике оказалось не только оправданным, но и эффективным, необходимо достаточно репрезентативное множество исторических данных - иначе принятые на их основе решения не будут отличаться достоверностью. Также должен осуществляться очень жесткий контроль значимости получаемых результатов.

 

Источники информации для средств BI.

 

Как уже говорилось в самом начале статьи, одним из этапов при решении любой информационно-аналитической задачи является поиск данных. Информация делится на две большие группы: внутренняя (выработанная в недрах организации) и внешняя (полученная извне).

 

Анализ внешней информации можно разделить на “стандартный” библиотечный поиск, поиск в Интернете и специализированных профессиональных БД. Поиск любой информации должен отвечать следующим основным требованиям: полнота охвата, достоверность, высокая скорость проведения поиска. Несмотря на практически неохватный объем Интернета, являющегося на текущий момент одним из основных источников информации, а может быть как раз благодаря этому, часто невозможно говорить о выполнении ни одного из этих требований. Полноты охвата невозможно добиться хотя бы по причине того, что даже лучшими поисковыми машинами проиндексировано лишь 30% всей Сети (по состоянию на начало 1999 года). Интернет развивается достаточно стихийно, и, в принципе, никто не несет никакой ответственности за достоверность публикуемых сведений. Поэтому необходимо обратить особое внимание на применение оценок достоверности материалов. На сегодняшний день поисковые механизмы Сети отличаются достаточно низкой релевантностью запросов, что достаточно сильно замедляет скорость поиска. Естественно, все это не говорит о том, что Сеть нельзя применять для профессионального поиска, скорее её следует рассматривать в качестве источника дополнительной, м.б. более конкретной или специализированной информации. Но опыт показывает, что в качестве первоначальных знаний о проблеме лучше использовать профессиональные БД. Так, в одной из лучших из них, Lexis-Nexis, средний по сложности запрос пользователя из сферы бизнеса отрабатывается, примерно, за 20-30 минут. В числе иностранных профессиональных БД, кроме Lexis-Nexis, необходимо упомянуть Orbitel, обладающую достаточной полнотой в вопросах патентного законодательства, торговых марок и т.д. Среди отечественных необходимо отметить компанию Интегрум-Техно, базы данных которой покрывают многие периодические издания, ИТАР-ТАСС, Интерфакс,– по общественно-политической и экономической тематике, ВИНИТИ, ВИМИ – по научно-технической информации и т.д. Кроме того, в качестве дополнительной информации можно рассматривать аналитические материалы, подготавливаемые компаниями, специализирующимися на отдельных сегментах рынка. Так, например, по всем вопросам военной тематики заслуженным авторитетом пользуется английский Jane’s, по ЭВТ – американская Garther Group. В российской политической аналитике можно отметить тот же "Интегрум-Техно", "Росбизнесконсалтинг", "Индем", "6-е бюро" и другие. Безусловно, этот список является далеко неполным. Разнообразность источников информации говорит о том, что к вопросам их выбора следует подходить с сильной долей взвешенности, потому что, во-первых, они всегда стоят денег и зачастую немалых, а во-вторых, от них напрямую зависит качество анализа. Нельзя получить достоверный анализ на основе недостоверных источников.

 

Некоторые особенности программно-аппаратной реализации систем BI.

 

Использование систем BI в работе налагает некоторые особенные требования на использующуюся аппаратную и программную базы. В первую очередь, конечно, это связано с огромными объемами перерабатываемой информации. Поиск в Интернет является одним из видов ИАД и недаром первый экземпляр одного из самых мощных на текущий момент компьютеров, HAL-300GrW1 американской фирмы Star Bridge Systems, используется для создания поисковой машины Интернета.

 

Безусловно, большую часть программных средств BI, в принципе, можно использовать на обычной программно-аппаратной платформе Wintel. Но не очень высокие масштабируемость и сбалансированность (не позволяющие линейно увеличивать производительность при наращивании числа процессоров) архитектуры не позволяет добиться оптимальных решений для больших объемов анализируемых данных. А так как ценность хранилища, в принципе, прямо пропорциональна его объему, то можно сделать вывод о недостаточной целесообразности использования платформы Wintel в качестве серверной части при больших объемах исходных данных.

 

Так как задачи BI имеют дело с БД, т.е. относятся скорее к классу бизнес-задач, чем к классу чисто вычислительных (существует преобладание операций ввода-вывода над счетом), то одним из наиболее оптимальных будет использование специальных бизнес-компьютеров, например AS/400 производства IBM. Возможно применение и других компьютерных архитектур, например, высокопроизводительных RISC-систем, но “заточенность” AS/400 именно на БД делает ее использование одним из наиболее оптимальных . Хотя, естественно, в каждом конкретном случае необходимо обосновывать выбор программно-аппаратной платформы отдельно. Выбор зависит от множества часто несвязанных параметров, начиная от объемов используемых данных, корпоративных стандартов, наличия парка подобной техники, заканчивая опытом и пристрастиями разработчиков.

 

К особенностям архитектуры AS/400, являющимися критичными для решениям задач BI, можно отнести микропрограммную реализацию базы данных DB2, высокую масштабируемость (более чем в 10000 раз), высокую надежность (99,94% при работе в режиме 24х365 против 97,44% у NT Server-а на Wintel, что составляет простой в год, соответственно, 5,2 часа против 224,5 часов), высокую степень защиты (на текущий момент неизвестно ни одного вируса для этой платформы, ни одного случая взлома), удобство программирования (сплошная адресация памяти). Использование специализированных, запатентованных IBM методов индексирования (т.н. EVI – Encoded Vector Indexing), позволяет значительно поднять скорость обработки запросов к БД. Так, например, реальный сложный тестовый нерегламентированный запрос к БД объемом 1,3 Тб без применения EVI выполнялся восемь часов, а с использованием EVI – 10 минут. Все это подтверждает тезис о необходимости тщательного выбора программно-аппаратной платформы работающей системы BI.

 [К1]Кстати, что такое BI. Самый главный термин – и не определен.


вернуться назад версия для печати
карта сайта




 
  

© "АМУЛЕТ" 2003 г. Тел/Факс.(495) 614-40-60, 614-41-60, Е-mail:sb@amulet-group.ru