Ahpub - Компьютер Шаг за Шагом

Распределение байеса. Статистические методы распознавания. Анализ и проверка домашней работы

Среди методов технической диагностики метод, основанный на обобщенной формуле Бaйeca , занимает особое место благодаря простоте и эффективности.

Разумеется, метод Байеса имеет недостатки: большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистических данных позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.

Основы метода. Метод основан на простой формуле Байеса. Если имеется диагноз D i и простой признак k j , встречающийся при этом диагнозе, то вероятность совместного появления событий (наличие у объекта состояния D i и признака k j )

P (D i k j) = P (D i) P (k j /D i) = P (k j) P (D i /k j). (5.4)

Из этого равенства вытекает формула Байеса (см. гл. 11)

P(D i /k j) = P(D i) P(k i /D i)/P(k j ) (5.5)

Очень важно определить точный смысл всех входящих в эту формулу величин.

P (D i ) - вероятность диагнозаD i , определяемая по статистическим данным (априорная вероятность диагноза ). Так, если предварительно обследовано N объектов и у N i объектов имелось состояние D i , то

P (D i ) = N i /N . (5.6)

P (k j /D i ) - k j у объектов с состоянием D i . Если среди N i объектов, имеющих диагнозD i , у N ij проявился признак k j , то

P (k j /D i ) = N ij /N i . (5.7)

P (k j ) - вероятность появления признакаk j во всех объектахнезависимо от состояния (диагноза)объекта. Пусть изобщего числа N объектов признакk j был обнаружену N j объектов, тогда

P(k j ) = N j /N . (5.8)

Для установления диагноза специальное вычисление P (kj ) не требуется. Как будет ясно из дальнейшего, значения P (D i P (k j / D i ), известные для всех возможных состояний, определяют величину P (k j ).

Вравенстве (3.2) P (D i /k j )- вероятность диагноза D i послетого, как сталоизвестно наличие у рассматриваемого объекта признака k j (апостериорная вероятность диагноза ).

Обобщенная формула Байеса. Эта формула относится к случаю, когда обследование проводится по комплексу признаков К , включающему признаки k 1 , k 2 , ..., k v . Каждый из признаков k j имеет m j разрядов (k j l , k j 2 , ..., k js , ..., ). В результате обследования становитсяизвестной реализация признака

k j * = k js (5.9)

и всего комплекса признаков K *. Индекс *, как и раньше, означаетконкретное значение (реализацию) признака. Формула Байеса для комплексапризнаков имеет вид

P (D i /К * )= P (D i )P (К */D i )/P (К * )(i = 1, 2, ..., n ), (5.10)

где P (D i /К * ) - вероятность диагноза D i после того, какстали известны результаты обследования по комплексу признаков К , P (D i ) - предварительная вероятность диагноза D i (по предшествующей статистике).

Формула (5.10) относится к любому из n возможных состояний (диагнозов) системы. Предполагается, что система находится только в одном из указанных состояний ипотому

В практических задачах нередко допускается возможность существования нескольких состояний А 1 , ..., А r , причем некоторые из них могут встретиться в комбинации друг с другом. Тогда в качестве различных диагнозов D i следует рассматривать отдельные состояния D 1 = А 1 , ..., D r = А r и их комбинации D r +1 = А 1 ^ А 2 , … и т. п.

Перейдем к определению P (К */ D i ). Если комплекс признаков состоит из v признаков, то

P (К */ D i ) = P(k 1 */ D i )P (k 2 */k 1 * D i )...P (k v */k l * ...k* v- 1 D i ), (5.12)

где k j * = k js - разряд признака, выявившийся в результате обследования. Для диагностически независимых признаков

P (К */ D i ) = P (k 1 */ D i ) P (k 2 */ D i )... P (k v * / D i ). (5.13)

В большинстве практических задач, особенно при большом числе признаков, можно принимать условие независимости признаков даже при наличии существенных корреляционных связей между ними.

Вероятность появления комплекса признаковК *

P (К *)= P (D s)P (К */D s) . (5.14)

Обобщенная формула Байеса может быть записана так:

P (D i /K * ) (5.15)

где P (К */ D i )определяется равенством (5.12) или (5.13). Изсоотношения (5.15) вытекает

P (D i /К *)=l, (5.16)

что, разумеется, и должно быть, так как один из диагнозов обязательно реализуется, а реализация одновременно двух диагнозов невозможна.

Следует обратить внимание на то, что знаменатель формулы Байеса для всех диагнозов одинаков. Это позволяет сначала определить вероятности совместного появления i -гo диагноза и данной реализации комплекса признаков

P (D i К *) = P (D i )P (К */D i ) (5.17)

и затем апостериорную вероятность диагноза

P (D i /К *) = P (D i К *)/ P (D s К *). (5.18)

Отметим, что иногда целесообразно использовать предварительное логарифмирование формулы (5.15), так как выражение (5.13) содержит произведения малых величин.

Если реализация некоторого комплекса признаков К * является детерминирующей для диагноза D p , то этот комплекс не встречается при других диагнозах:

Тогда, в силу равенства (5.15)

(5.19)

Таким образом, детерминистская логика установления диагноза является частным случаем вероятностной логики. Формула Байеса может использоваться и в том случае, когда часть признаков имеет дискретное распределение, а другая часть - непрерывное. Для непрерывного распределения используются плотности распределения. Однако в расчетном плане указанное различие признаков несущественно, если задание непрерывной кривой осуществляется с помощью совокупности дискретных значений.

Диагностическая матрица. Для определения вероятности диагнозов по методу Байеса необходимо составить диагностическую матрицу (табл. 5.1), которая формируется на основе предварительного статистического материала. В этой таблице содержатся вероятности разрядов признаков при различных диагнозах.

Таблица 5.1

Диагностическая матрица в методе Байеса

Если признаки двухразрядные (простые признаки «да - нет»), то в таблице достаточно указать вероятность появления признака Р (k i /D i). Вероятность отсутствия признака Р ( /D,-) = 1 - Р (k i /D i).

Однако более удобно использовать единообразную форму, полагая, например, для двухразрядного признака Р (k j /D i) = Р (k i 1 /D i ); Р ( /D,) = Р (k i 2 /D i).

Отметим, что P(k js /Di) = 1, где т, - число разрядов признака k j . Сумма вероятностей всех возможных реализаций признака равна единице.

В диагностическую матрицу включены априорные вероятности диагнозов. Процесс обучения в методе Байеса состоит в формировании диагностической матрицы. Важно предусмотреть возможность уточнения таблицы в процессе диагностики. Для этого в памяти ЭВМ следует хранить не только значения P(k js /Di), но и следующие величины: N - общее число объектов, использованных для составления диагностической матрицы; N i - число объектов с диагнозом D i ; N ij - число объектов с диагнозом D i , обследованных по признаку k j . Если поступает новый объект с диагнозом D μ , то проводится корректировка прежних априорных вероятностей диагнозов следующим образом:

(5.20)

Далее вводятся поправки к вероятностям признаков. Пусть у нового объекта с диагнозом D μ выявлен разряд r признака k j . Тогда для дальнейшей диагностики принимаются новые значения вероятности интервалов признака k j при диагнозе D μ :

(5.21)

Условные вероятности признаков при других диагнозах корректировки не требуют.

Пример. Поясним метод Байеса. Пусть при наблюдении за газотурбинным двигателем проверяются два признака: k 1 - повышение температуры газа за турбиной более чем на 50 °С и k 2 - увеличение времени выхода на максимальную частоту вращения более чем на 5 с. Предположим, что для данного типа двигателей появление этих признаков связано либо с неисправностью топливного регулятора (состояние D 1 ,), либо с увеличением радиального зазора в турбине (состояние D 2).

При нормальном состоянии двигателя (состояние D 3)признак k 1 не наблюдается, а признак k 2 наблюдается в 5% случаев. На основании статистических данных известно, что 80% двигателей вырабатывают ресурс в нормальном состоянии, 5% двигателей имеют состояние D 1 и 15% - состояние D 2 . Известно также, что признак k 1 встречается при состоянии D 1 в 20% , а при состоянии D 2 в 40% случаев; признак k 2 при состоянии D 1 встречается в 30%, а при состоянии D 2 - в 50% случаев. Сведем эти данные в диагностическую таблицу (табл. 5.2).

Найдем сначала вероятности состояний двигателя, когда обнаружены оба признака k 1 и k 2 . Для этого, считая признаки независимыми, применим формулу (5.15).

Вероятность состояния

Аналогично получим Р (D 2 /k 1 k 2) = 0,91; Р (D 3 /k 1 k 2) = 0.

Определим вероятность состояний двигателя, если обследование показало, что повышение температуры не наблюдается (признак k 1 ), но увеличивается время выхода на максимальную частоту вращения (признак k 2 наблюдается). Отсутствие признака k 1 есть признак наличия (противоположное событие), причем Р ( /Di) = 1 - Р (k 1 /Di).

Для расчета применяют также формулу (5.15), но значение Р (k 1 /Di) в диагностической таблице заменяют на Р ( /Di). В этом случае

и аналогично Р (D 2 / k 2) = 0,46; Р (D 3 / k 2) = 0,41. Вычислим вероятности состояний в том случае, когда оба признака отсутствуют. Аналогично предыдущему получим

Отметим, что вероятности состояний D 1 и D 2 отличны от нуля, так как рассматриваемые признаки не являются для них детерминирующими. Из проведенных расчетов можно установить, что при наличии признаков k 1 и k 2 в двигателе с вероятностью 0,91 имеется состояние D 1 , т.е. увеличение радиального зазора. При отсутствии обоих признаков наиболее вероятно нормальное состояние (вероятность 0,92). При отсутствии признака k 1 и наличии признака k 2 вероятности состояний D 2 и D 3 примерно одинаковы (0,46 и 0,41) и для уточнения состояния двигателя требуется проведение дополнительных обследований.

Таблица 5.2

Вероятности признаков и априорные вероятности состояний

Решающее правило - правило, в соответствии с которым принимается решение о диагнозе. В методе Байеса объект с комплексом признаков К * относится к диагнозу с наибольшей (апостериорной) вероятностью

K* D i ,если P(D i /K *) > P(D j /K *) (j = 1, 2,..., n ; i ≠ j ). (5.22)

Символ , применяемый в функциональном анализе, означает принадлежность множеству. Условие (5.22) указывает, что объект, обладающий данной реализацией комплекса признаков К * или, короче, реализация К * принадлежит диагнозу (состоянию) D i . Правило (5.22) обычно уточняется введением порогового значения для вероятности диагноза:

P (D i / K *) P i , (5.23)

где P i . - заранее выбранный уровень распознавания для диагноза D i . При этом вероятность ближайшего конкурирующего диагноза не выше 1 – P i . Обычно принимается P i ≥ 0,9. При условии

P(D i / K *)

(5.24)

решение о диагнозе не принимается (отказ от распознавания) и требуется поступление дополнительной информации.

Процесс принятия решения в методе Байеса при расчете на ЭВМ происходит достаточно быстро. Например, постановка диагноза для 24 состояний при 80 многоразрядных признаках занимает на ЭВМ с быстродействием 10 - 20 тысяч операций в секунду всего несколько минут.

Как указывалось, методу Байеса присущи некоторые недостатки, например погрешности при распознавании редких диагнозов. При практических расчетах целесообразно провести диагностику и для случая равновероятностных диагнозов, положив

P(D i) = l / n (5.25)

Тогда наибольшим значением апостериорной вероятности будет обладать диагноз D i , для которого Р (K* /D i) максимальна:

K* D i ,если P(K* /D i) > P(K* /D j) (j = 1, 2,..., n ; i ≠ j ). (5.26)

Иными словами, устанавливается диагноз D i если данная совокупность признаков чаще встречается при диагнозе D i , чем при других диагнозах. Такое решающее правило соответствует методу максимального правдоподобия. Из предыдущего вытекает, что этот метод является частным случаем метода Байеса при одинаковых априорных вероятностях диагнозов. В методе максимального правдоподобия «частые» и «редкие» диагнозы равноправны.

Для надежности распознавания условие (5.26) должно быть дополнено пороговым значением

P(K */D i) ≥ P i , (5.27)

где P i - заранее выбранный уровень распознавания для диагноза D i .

Дуглас У. Хаббард Глава из книги «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе»
Издательство «Олимп-Бизнес »

Таблица 1. Отдельные строки из таблицы расчётов с использованием байесовской инверсии

Похоже, что удержание покупателей у нас не на высоте. Но мы пересчитаем стоимость этой информации, и хотя она уменьшится, окажется, что провести дополнительные измерения все равно имеет смысл. Выберем еще 40 покупателей, и тогда в сумме их будет 60 человек. Из этих 60 только 39 скажут, что вернутся в наш магазин. Наш новый 90-процентный CI окажется равным 69-80%. Теперь верхняя граница равняется нашему первоначальному критическому порогу 80%, давая 95-процентную уверенность, что доля повторных покупателей низка настолько, что требует от нас серьезных, дорогостоящих изменений.

Расчеты оказались довольно сложными, но помните, что вы можете воспользоваться таблицами, приведенными на нашем вспомогательном сайте. И вполне возможно, что в данном случае сработал бы обсуждавшийся ранее субъективный байесовский метод, применяемый калиброванными экспертами. Возможно, опрос покупателей выявит такие качественные факторы, которые сумеют учесть наши калиброванные специалисты. Однако стоимость результатов этих важных измерений достаточно высока, чтобы оправдать наши дополнительные усилия.

Избегайте «инверсии наблюдения»

Многие задают вопрос: «Какой вывод я могу сделать из этого наблюдения?» Но Байес показал нам, что нередко полезнее задать вопрос: «Что я должен наблюдать, если будет соблюдаться условие X?» Ответ на последний вопрос позволяет разобраться с первым.

Xотя на первый взгляд байесовская инверсия может показаться весьма трудоемкой, она относится к наиболее эффективным из имеющихся в нашем распоряжении методам измерения. Если удастся сформулировать вопрос «Какова вероятность увидеть X, если справедливо Y?» и превратить его в «Какова вероятность того, что справедливо Y, если мы наблюдаем X?», то можно решить огромное число задач по измерению. В сущности, именно так мы и находим ответы на большинство научных вопросов. Если предложенная гипотеза верна, то что мы должны наблюдать?

Напротив, многие менеджеры, похоже, считают, что все измерения сводятся к поиску ответов на вопрос: «Какой я должен сделать вывод из того, что вижу?» Когда кажется, что совершена ошибка наблюдения, люди решают: на этом основании делать выводы нельзя, какой бы низкой ни была вероятность такой ошибки. Однако байесовский анализ показывает, что воображаемые менеджерами ошибки крайне маловероятны и что измерение все равно заметно снизило бы существующую неопределенность. Иными словами, отсутствие, по крайней мере, теоретического понимания байесовской инверсии приводит к переворачиванию вопроса и к формированию убеждения, что маловероятные ошибки сводят ценность измерений к нулю — то есть к самой неудачной разновидности «инверсии наблюдения».

Примечания

1 David M. Grether, Mahmoud A. El-Gamal. Are People Bayesian? Uncovering Behavioral Strategies // Social Science Working Paper 919, 1995, California Institute of Technology.

2 Tom DeMarco, Timothy Lister. Peopleware: Productive Projects and Teams. 2nd ed. New York: Dorset House Publishing, 1999.

FYP — first year profit, прибыль первого года. — Примеч. переводчика.

Неточность: рисунок доли генеральной совокупности приведен в главе 9 (см. рис. 9.2). — Примеч. редактора.

МЕТОД ПОСЛЕДОВАТЕЛЬНОГО АНАЛИЗА

МЕТОД БАЙЕСА

План лекции

Анализ и проверка домашней работы

Организационный момент.

Ход лекции.

Лекция 9

Тема. СТАТИСТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ

Цель. Дать понятие распознавания цифрового сигнала.

1. Учебная. Разъяснить процесс распознавания цифрового сигнала.

2. Развивающая. Развивать логическое мышление и естественное - научное мировоззрение.

3. Воспитательная . Воспитывать интерес к научным достижениям и открытиям в отрасли телекоммуникации.

Межпредметные связи:

· Обеспечивающие: информатика, математика, вычислительная техника и МП, системы программирования.

· Обеспечиваемые: Стажерская практика

Методическое обеспечение и оборудование:

1. Методическая разработка к занятию.

2. Учебный план.

3. Учебная программа

4. Рабочая программа.

5. Инструктаж по технике безопасности.

Технические средства обучения: персональный компьютер.

Обеспечение рабочих мест:

· Рабочие тетради

3. Ответьте на вопросы:

1. В чем заключается отличие цифровых сигналов от аналоговых?

2. Какие классы диаграмм используются при проведении измерений?

3. Дайте краткое описание каждому классу.

4. Что используется для построения глазковой диаграммы?

5. Поясните суть глазковой диаграммы.

· Основы метода

  • Обобщенная формула Байеса.

· Диагностическая матрица.

· Решающее правило

· Основы метода.

· Общая процедура метода.

· Связь границ принятия решения с вероятностями ошибок пер­вого и второго рода.

Основное преимущество статистических методов распознавания состоит в возможности одновременного учета признаков различной физической природы, так как они характеризуются безразмерными величинами - вероятностями их появления при различных состояниях системы .

Среди методов технической диагностики метод, основанный на обобщенной формуле Байеса (Теорема Байеса (или формула Байеса) - одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое-либо событие(гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны ), занимает особое место благо­даря простоте и эффективности.

Метод Байеса имеет недостатки: большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистических данных позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.

Основы метода. Метод основан на простой формуле Байеса. Если имеется диагноз D i и простой признак ki, встре­чающийся при этом диагнозе, то вероятность совместного появ­ления событий (наличие у объекта состояния Di и признака ki)



Из этого равенства вытекает формула Байеса

(3.2)

Очень важно определить точный смысл всех входящих в эту формулу величин.

P(Di)- априорная вероятность гипотезы D

P(ki/Di) - вероятность гипотезы ki при наступлении события D (апостериорная вероятность - вероятность случайного события при условии того, что известны апостериорные данные, т.е. полученные после опыта.)

P(ki) - полная вероятность наступления события ki

P(Di/ki) - вероятность наступления события Di при истинности гипотезы ki

Р(D)- вероятность диагноза D , определяемая по стати­стическим данным (априорная вероятность диагноза). Так, если предварительно обследовано N объектов и у W,- объектов имелось состояние D, то

P(D i) = N i /N. (3.3)

Р (kj/Di) - вероятность появления признака k j ; у объектов с со­стоянием Di. Если среди Ni, объектов, имеющих диагноз Di, у N ij проявился признак k j то

(3.4)

Р (kj) - вероятность появления признака kj во всех объектах независимо от состояния (диагноза) объекта . Пусть из общего числа N объектов признак к } был обнаружен у Nj объектов, тогда

(3.5)

В равенстве (3.2) Р ( Di/kj) - вероятность диагноза D после того, как стало известно наличие у рассматриваемого объекта признака kj (апостериорная вероятность диагноза ).

В настоящее время Байесовские методы получили достаточно широкое распространение и активно используются в самых различных областях знаний. Однако, к сожалению, не так много людей имеют представление о том, что же это такое и зачем это нужно. Одной из причин является отсутствие большого количества литературы на русском языке. Поэтому здесь попытаюсь изложить их принципы настолько просто, насколько смогу, начав с самых азов (прошу прощения, если кому-то это покажется слишком простым).

В дальнейшем я бы хотел перейти к непосредственно Байесовскому анализу и рассказать об обработке реальных данных и о, на мой взгляд, отличной альтернативе языку R (о нем немного писалось ) - Python с модулем pymc . Лично мне Python кажется гораздо более понятным и логичным, чем R с пакетами и BUGS , к тому же Python дает гораздо бо льшую свободу и гибкость (хотя в Python есть и свои трудности, но они преодолимы, да и в простом анализе встречаются нечасто).

Немного истории

В качестве краткой исторической справки скажу, что формула Байеса была опубликована аж в 1763 году спустя 2 года после смерти ее автора, Томаса Байеса. Однако, методы, использующие ее, получили действительно широкое распространение только к концу ХХ века. Это объясняется тем, что расчеты требуют определенных вычислительных затрат, и они стали возможны только с развитием информационных технологий.

О вероятности и теореме Байеса

Формула Байеса и все последующее изложение требует понимания вероятности. Подробнее о вероятности можно почитать на Википедии .
На практике вероятность наступления события есть частота наступления этого события, то есть отношение количества наблюдений события к общему количеству наблюдений при большом (теоретически бесконечном) общем количестве наблюдений.
Рассмотрим следующий эксперимент: мы называем любое число из отрезка и смотрим за тем, что это число будет между, например, 0.1 и 0.4. Как нетрудно догадаться, вероятность этого события будет равна отношению длины отрезка к общей длине отрезка (другими словами, отношение «количества» возможных равновероятных значений к общему «количеству» значений), то есть (0.4 - 0.1) / (1 - 0) = 0.3, то есть вероятность попадания в отрезок равна 30%.

Теперь посмотрим на квадрат x .

Допустим, мы должны называть пары чисел (x, y), каждое из которых больше нуля и меньше единицы. Вероятность того, что x (первое число) будет в пределах отрезка (показан на первом рисунке как синяя область, на данный момент для нас второе число y не важно), равна отношению площади синей области к площади всего квадрата, то есть (0.4 - 0.1) * (1 - 0) / (1 * 1) = 0.3, то есть 30%. Таким образом можно записать, что вероятность того, что x принадлежит отрезку равна p(0.1 <= x <= 0.4) = 0.3 или для краткости p(X) = 0.3.
Если мы теперь посмотрим на y, то, аналогично, вероятность того, что y находится внутри отрезка равна отношению площади зеленой области к площади всего квадрата p(0.5 <= y <= 0.7) = 0.2, или для краткости p(Y) = 0.2.
Теперь посмотрим, что можно узнать о значениях одновременно x и y.
Если мы хотим знать, какова вероятность того, что одновременно x и y находятся в соответствующих заданных отрезках, то нам нужно посчитать отношение темной площади (пересечения зеленой и синей областей) к площади всего квадрата: p(X, Y) = (0.4 - 0.1) * (0.7 - 0.5) / (1 * 1) = 0.06.

А теперь допустим мы хотим знать какова вероятность того, что y находится в интервале , если x уже находится в интервале . То есть фактически у нас есть фильтр и когда мы называем пары (x, y), то мы сразу отбрасывает те пары, которые не удовлетворяют условию нахождения x в заданном интервале, а потом из отфильтрованных пар мы считаем те, для которых y удовлетворяет нашему условию и считаем вероятность как отношение количества пар, для которых y лежит в вышеупомянутом отрезке к общему количеству отфильтрованных пар (то есть для которых x лежит в отрезке ). Мы можем записать эту вероятность как p(Y|X). Очевидно, что эта вероятность равна отношению площади темной области (пересечение зеленой и синей областей) к площади синей области. Площадь темной области равна (0.4 - 0.1) * (0.7 - 0.5) = 0.06, а площадь синей (0.4 - 0.1) * (1 - 0) = 0.3, тогда их отношение равно 0.06 / 0.3 = 0.2. Другими словами, вероятность нахождения y на отрезке при том, что x уже принадлежит отрезку равна p(Y|X) = 0.2.
Можно заметить, что с учетом всего вышесказанного и всех приведенных выше обозначений, мы можем написать следующее выражение
p(Y|X) = p(X, Y) / p(X)

Кратко воспроизведем всю предыдущую логику теперь по отношению к p(X|Y): мы называем пары (x, y) и фильтруем те, для которых y лежит между 0.5 и 0.7, тогда вероятность того, что x находится в отрезке при условии, что y принадлежит отрезку равна отношению площади темной области к площади зеленой:
p(X|Y) = p(X, Y) / p(Y)

В двух приведенных выше формулах мы видим, что член p(X, Y) одинаков, и мы можем его исключить:

Мы можем переписать последнее равенство как

Это и есть теорема Байеса.
Интересно еще заметить, что p(Y) это фактически p(X,Y) при всех значениях X. То есть, если мы возьмем темную область и растянем ее так, что она будет покрывать все значения X, она будет в точности повторять зеленую область, а значит, она будет равна p(Y). На языке математики это будет означать следующее:
Тогда мы можем переписать формулу Байеса в следующем виде:

Применение теоремы Байеса

Давайте рассмотрим следующий пример. Возьмем монетку и подкинем ее 3 раза. С одинаковой вероятностью мы можем получить следующие результаты (О - орел, Р - решка): ООО, ООР, ОРО, ОРР, РОО, РОР, РРО, РРР.

Мы можем посчитать какое количество орлов выпало в каждом случае и сколько при этом было смен орел-решка, решка-орел:

Мы можем рассматривать количество орлов и количество изменений как две случайные величины. Тогда таблица вероятностей будет иметь следуюший вид:

Теперь мы можем увидеть формулу Байеса в действии.
Но прежде проведем аналогию с квадратом, который мы рассматривали ранее.
Можно заметить, что p(1O) есть сумма третьего столбца («синяя область» квадрата) и равна сумме всех значений ячеек в этом столбце: p(1O) = 2/8 + 1/8 = 3/8
p(1С) есть сумма третьей строки («зеленая область» квадрата) и, аналогично, равна сумме всех значений ячеек в этой строке p(1С) = 2/8 + 2/8 = 4/8
Вероятность того, что мы получили одного орла и одну смену равна пересечению этих областей (то есть значение в клетке пересечения третьего столбца и третьей строки) p(1С, 1О) = 2/8
Тогда, следуя формулам описанным выше, мы можем посчитать вероятность получить одну смену, если мы получили одного орла в трех бросках:
p(1С|1О) = p(1С, 1О) / p(1О) = (2/8) / (3/8) = 2/3
или вероятность получить одного орла, если мы получили одну смену:
p(1О|1С) = p(1С, 1О) / p(1С) = (2/8) / (4/8) = 1/2
Если мы посчитаем вероятность получить одну смену при наличии одного орла p(1О|1С) через формулу Байеса, то получим:
p(1О|1С) = p(1С|1О) * p(1О) / p(1С) = (2/3) * (3/8) / (4/8) = 1/2
Что мы и получили выше.

Но какое практическое значение имеет приведенный выше пример?
Дело в том, что, когда мы анализируем реальные данные, обычно нас интересует какой-то параметр этих данных (например, среднее, дисперсия и пр.). Тогда мы можем провести следующую аналогию с вышеприведенной таблицей вероятностей: пусть строки будут нашими экспериментальными данными (обозначим их Data), а столбцы - возможными значениями интересующего нас параметра этих данных (обозначим его ). Тогда нас интересует вероятность получить определенное значение параметра на основе имеющихся данных .
Мы можем применить формулу Баейса и записать следующее:

А вспомнив формулу с интегралом, можно записать следующее:

То есть фактически как результат нашего анализа мы имеет вероятность как функцию параметра. Теперь мы можем, например, максимизировать эту функцию и найти наиболее вероятное значение параметра, посчитать дисперсию и среднее значение параметра, посчитать границы отрезка, внутри которого интересующий нас параметр лежит с вероятностью 95% и пр.

Вероятность называют апостериорной вероятностью. И для того, чтобы посчитать ее нам надо иметь
- функцию правдоподобия и - априорную вероятность.
Функция правдоподобия определяется нашей моделью. То есть мы создаем модель сбора данных, которая зависит от интересующего нас параметра. К примеру, мы хотим интерполировать данные с помощью прямой y = a * x + b (таким образом мы предполагаем, что все данные имеют линейную зависимость с наложенным на нее гауссовым шумом с известной дисперсией). Тогда a и b - это наши параметры, и мы хотим узнать их наиболее вероятные значения, а функция правдоподобия - гаусс со средним, заданным уравнением прямой, и данной дисперсией.
Априорная вероятность включает в себя информацию, которую мы знаем до проведения анализа. Например, мы точно знаем, что прямая должна иметь положительный наклон, или, что значение в точке пересечения с осью x должно быть положительным, - все это и не только мы можем инкорпорировать в наш анализ.
Как можно заметить, знаменатель дроби является интегралом (или в случае, когда параметры могут принимать только определенные дискретные значения, суммой) числителя по всем возможным значениям параметра. Практически это означает, что знаменатель является константой и служит для того, что нормализировать апостериорную вероятность (то есть, чтобы интеграл апостериорной вероятности был равен единице).

На этом я бы хотел закончить свой пост (продолжение

Среди методов технической диагностики метод, основанный на обобщенной формуле Бaйeca , занимает особое место благодаря простоте и эффективности.

Разумеется, метод Байеса имеет недостатки: большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистических данных позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.

Основы метода. Метод основан на простой формуле Байеса. Если имеется диагноз D i и простой признак k j , встречающийся при этом диагнозе, то вероятность совместного появления событий (наличие у объекта состояния D i и признака k j )

P (D i k j) = P (D i) P (k j /D i) = P (k j) P (D i /k j). (5.4)

Из этого равенства вытекает формула Байеса (см. гл. 11)

P(D i /k j) = P(D i) P(k i /D i)/P(k j ) (5.5)

Очень важно определить точный смысл всех входящих в эту формулу величин.

P (D i ) - вероятность диагнозаD i , определяемая по статистическим данным (априорная вероятность диагноза ). Так, если предварительно обследовано N объектов и у N i объектов имелось состояние D i , то

P (D i ) = N i /N . (5.6)

P (k j /D i ) - k j у объектов с состоянием D i . Если среди N i объектов, имеющих диагнозD i , у N ij проявился признак k j , то

P (k j /D i ) = N ij /N i . (5.7)

P (k j ) - вероятность появления признакаk j во всех объектахнезависимо от состояния (диагноза)объекта. Пусть изобщего числа N объектов признакk j был обнаружену N j объектов, тогда

P(k j ) = N j /N . (5.8)

Для установления диагноза специальное вычисление P (kj ) не требуется. Как будет ясно из дальнейшего, значения P (D i P (k j / D i ), известные для всех возможных состояний, определяют величину P (k j ).

Вравенстве (3.2) P (D i /k j )- вероятность диагноза D i послетого, как сталоизвестно наличие у рассматриваемого объекта признака k j (апостериорная вероятность диагноза ).

Обобщенная формула Байеса. Эта формула относится к случаю, когда обследование проводится по комплексу признаков К , включающему признаки k 1 , k 2 , ..., k v . Каждый из признаков k j имеет m j разрядов (k j l , k j 2 , ..., k js , ..., ). В результате обследования становитсяизвестной реализация признака

k j * = k js (5.9)

и всего комплекса признаков K *. Индекс *, как и раньше, означаетконкретное значение (реализацию) признака. Формула Байеса для комплексапризнаков имеет вид

P (D i /К * )= P (D i )P (К */D i )/P (К * )(i = 1, 2, ..., n ), (5.10)

где P (D i /К * ) - вероятность диагноза D i после того, какстали известны результаты обследования по комплексу признаков К , P (D i ) - предварительная вероятность диагноза D i (по предшествующей статистике).

Формула (5.10) относится к любому из n возможных состояний (диагнозов) системы. Предполагается, что система находится только в одном из указанных состояний ипотому

В практических задачах нередко допускается возможность существования нескольких состояний А 1 , ..., А r , причем некоторые из них могут встретиться в комбинации друг с другом. Тогда в качестве различных диагнозов D i следует рассматривать отдельные состояния D 1 = А 1 , ..., D r = А r и их комбинации D r +1 = А 1 ^ А 2 , … и т. п.

Перейдем к определению P (К */ D i ). Если комплекс признаков состоит из v признаков, то

P (К */ D i ) = P(k 1 */ D i )P (k 2 */k 1 * D i )...P (k v */k l * ...k* v- 1 D i ), (5.12)

где k j * = k js - разряд признака, выявившийся в результате обследования. Для диагностически независимых признаков

P (К */ D i ) = P (k 1 */ D i ) P (k 2 */ D i )... P (k v * / D i ). (5.13)

В большинстве практических задач, особенно при большом числе признаков, можно принимать условие независимости признаков даже при наличии существенных корреляционных связей между ними.

Вероятность появления комплекса признаковК *

P (К *)= P (D s)P (К */D s) . (5.14)

Обобщенная формула Байеса может быть записана так:

P (D i /K * ) (5.15)

где P (К */ D i )определяется равенством (5.12) или (5.13). Изсоотношения (5.15) вытекает

P (D i /К *)=l, (5.16)

что, разумеется, и должно быть, так как один из диагнозов обязательно реализуется, а реализация одновременно двух диагнозов невозможна.

Следует обратить внимание на то, что знаменатель формулы Байеса для всех диагнозов одинаков. Это позволяет сначала определить вероятности совместного появления i -гo диагноза и данной реализации комплекса признаков

P (D i К *) = P (D i )P (К */D i ) (5.17)

и затем апостериорную вероятность диагноза

P (D i /К *) = P (D i К *)/ P (D s К *). (5.18)

Отметим, что иногда целесообразно использовать предварительное логарифмирование формулы (5.15), так как выражение (5.13) содержит произведения малых величин.

Если реализация некоторого комплекса признаков К * является детерминирующей для диагноза D p , то этот комплекс не встречается при других диагнозах:

Тогда, в силу равенства (5.15)

(5.19)

Таким образом, детерминистская логика установления диагноза является частным случаем вероятностной логики. Формула Байеса может использоваться и в том случае, когда часть признаков имеет дискретное распределение, а другая часть - непрерывное. Для непрерывного распределения используются плотности распределения. Однако в расчетном плане указанное различие признаков несущественно, если задание непрерывной кривой осуществляется с помощью совокупности дискретных значений.

Диагностическая матрица. Для определения вероятности диагнозов по методу Байеса необходимо составить диагностическую матрицу (табл. 5.1), которая формируется на основе предварительного статистического материала. В этой таблице содержатся вероятности разрядов признаков при различных диагнозах.

Таблица 5.1

Диагностическая матрица в методе Байеса

Диагноз D i Признак k j P(D i)
k 1 k 2 k 3
P(k 11 /D i) P(k 12 /D i) P(k 13 /D i) P(k 21 /D i) P(k 22 /D i) P(k 23 /D i) P(k 24 /D i) P(k 31 /D i) P(k 32 /D i)
D 1 0,8 0,2 0,1 0,1 0,6 0,2 0,2 0,8 0,3
D 2 0,1 0,7 0,2 0,3 0,7 0,1 0,9 0,1

Если признаки двухразрядные (простые признаки «да - нет»), то в таблице достаточно указать вероятность появления признака Р (k i /D i). Вероятность отсутствия признака Р ( /D,-) = 1 - Р (k i /D i).

Однако более удобно использовать единообразную форму, полагая, например, для двухразрядного признака Р (k j /D i) = Р (k i 1 /D i ); Р ( /D,) = Р (k i 2 /D i).

Отметим, что P(k js /Di) = 1, где т, - число разрядов признака k j . Сумма вероятностей всех возможных реализаций признака равна единице.

В диагностическую матрицу включены априорные вероятности диагнозов. Процесс обучения в методе Байеса состоит в формировании диагностической матрицы. Важно предусмотреть возможность уточнения таблицы в процессе диагностики. Для этого в памяти ЭВМ следует хранить не только значения P(k js /Di), но и следующие величины: N - общее число объектов, использованных для составления диагностической матрицы; N i - число объектов с диагнозом D i ; N ij - число объектов с диагнозом D i , обследованных по признаку k j . Если поступает новый объект с диагнозом D μ , то проводится корректировка прежних априорных вероятностей диагнозов следующим образом:

(5.20)

Далее вводятся поправки к вероятностям признаков. Пусть у нового объекта с диагнозом D μ выявлен разряд r признака k j . Тогда для дальнейшей диагностики принимаются новые значения вероятности интервалов признака k j при диагнозе D μ :

(5.21)

Условные вероятности признаков при других диагнозах корректировки не требуют.

Пример. Поясним метод Байеса. Пусть при наблюдении за газотурбинным двигателем проверяются два признака: k 1 - повышение температуры газа за турбиной более чем на 50 °С и k 2 - увеличение времени выхода на максимальную частоту вращения более чем на 5 с. Предположим, что для данного типа двигателей появление этих признаков связано либо с неисправностью топливного регулятора (состояние D 1 ,), либо с увеличением радиального зазора в турбине (состояние D 2).

При нормальном состоянии двигателя (состояние D 3)признак k 1 не наблюдается, а признак k 2 наблюдается в 5% случаев. На основании статистических данных известно, что 80% двигателей вырабатывают ресурс в нормальном состоянии, 5% двигателей имеют состояние D 1 и 15% - состояние D 2 . Известно также, что признак k 1 встречается при состоянии D 1 в 20% , а при состоянии D 2 в 40% случаев; признак k 2 при состоянии D 1 встречается в 30%, а при состоянии D 2 - в 50% случаев. Сведем эти данные в диагностическую таблицу (табл. 5.2).

Найдем сначала вероятности состояний двигателя, когда обнаружены оба признака k 1 и k 2 . Для этого, считая признаки независимыми, применим формулу (5.15).

Вероятность состояния

Аналогично получим Р (D 2 /k 1 k 2) = 0,91; Р (D 3 /k 1 k 2) = 0.

Определим вероятность состояний двигателя, если обследование показало, что повышение температуры не наблюдается (признак k 1 ), но увеличивается время выхода на максимальную частоту вращения (признак k 2 наблюдается). Отсутствие признака k 1 есть признак наличия (противоположное событие), причем Р ( /Di) = 1 - Р (k 1 /Di).

Для расчета применяют также формулу (5.15), но значение Р (k 1 /Di) в диагностической таблице заменяют на Р ( /Di). В этом случае

и аналогично Р (D 2 / k 2) = 0,46; Р (D 3 / k 2) = 0,41. Вычислим вероятности состояний в том случае, когда оба признака отсутствуют. Аналогично предыдущему получим

Отметим, что вероятности состояний D 1 и D 2 отличны от нуля, так как рассматриваемые признаки не являются для них детерминирующими. Из проведенных расчетов можно установить, что при наличии признаков k 1 и k 2 в двигателе с вероятностью 0,91 имеется состояние D 1 , т.е. увеличение радиального зазора. При отсутствии обоих признаков наиболее вероятно нормальное состояние (вероятность 0,92). При отсутствии признака k 1 и наличии признака k 2 вероятности состояний D 2 и D 3 примерно одинаковы (0,46 и 0,41) и для уточнения состояния двигателя требуется проведение дополнительных обследований.

Таблица 5.2

Вероятности признаков и априорные вероятности состояний

D i P(k 1 /D i) P(k 2 /D i) P(D i)
D 1 0,2 0,3 0,05
D 2 0,4 0,5 0,15
D 3 0,0 0,05 0,80

Решающее правило - правило, в соответствии с которым принимается решение о диагнозе. В методе Байеса объект с комплексом признаков К * относится к диагнозу с наибольшей (апостериорной) вероятностью

K* D i ,если P(D i /K *) > P(D j /K *) (j = 1, 2,..., n ; i ≠ j ). (5.22)

Символ , применяемый в функциональном анализе, означает принадлежность множеству. Условие (5.22) указывает, что объект, обладающий данной реализацией комплекса признаков К * или, короче, реализация К * принадлежит диагнозу (состоянию) D i . Правило (5.22) обычно уточняется введением порогового значения для вероятности диагноза:

P (D i / K *) P i , (5.23)

где P i . - заранее выбранный уровень распознавания для диагноза D i . При этом вероятность ближайшего конкурирующего диагноза не выше 1 – P i . Обычно принимается P i ≥ 0,9. При условии

P(D i / K *)

(5.24)

решение о диагнозе не принимается (отказ от распознавания) и требуется поступление дополнительной информации.

Процесс принятия решения в методе Байеса при расчете на ЭВМ происходит достаточно быстро. Например, постановка диагноза для 24 состояний при 80 многоразрядных признаках занимает на ЭВМ с быстродействием 10 - 20 тысяч операций в секунду всего несколько минут.

Как указывалось, методу Байеса присущи некоторые недостатки, например погрешности при распознавании редких диагнозов. При практических расчетах целесообразно провести диагностику и для случая равновероятностных диагнозов, положив

P(D i) = l / n (5.25)

Тогда наибольшим значением апостериорной вероятности будет обладать диагноз D i , для которого Р (K* /D i) максимальна:

K* D i ,если P(K* /D i) > P(K* /D j) (j = 1, 2,..., n ; i ≠ j ). (5.26)

Иными словами, устанавливается диагноз D i если данная совокупность признаков чаще встречается при диагнозе D i , чем при других диагнозах. Такое решающее правило соответствует методу максимального правдоподобия. Из предыдущего вытекает, что этот метод является частным случаем метода Байеса при одинаковых априорных вероятностях диагнозов. В методе максимального правдоподобия «частые» и «редкие» диагнозы равноправны.

Для надежности распознавания условие (5.26) должно быть дополнено пороговым значением

P(K */D i) ≥ P i , (5.27)

где P i - заранее выбранный уровень распознавания для диагноза D i .

Загрузка...
ahpub.ru - Ahpub - Компьютер Шаг за Шагом