Метод главных компонент

что такое метод главных компонент, основанный на разложении Карунена-Лоэва. Мой научный руководитель определил тему моего диплома — применение метода главных компонент в медицинской диагностике. Я прохожу преддипломную практику в ВЦ военного госпиталя.

Введение в метод главных компонент
http://www.chemometrics.ru/materials/textbooks/pca.htm

спасибо. Однако какая-то странная книга, для химиков. В ней нет ни слова о разложении карунена-лоэва.
Я обратился к вашему сайту, потому что моему брату Валерию здорово помогли по бинарным отношениям.
Мой научный руководитель уехал в командировку на длительное время, поэтому я обратился к вам за помощью. Мне нужна более математическая книга (у меня диплом математика), желательно с примерами применений.

тогда стоит поискать через Google

Открываем Википедию: http://ru.wikipedia.org/wiki/Proper_orthogonal_decomposition
Внизу список литературы. Идём в библиотеку и готовимся.

Идем так же в Google и ищем: principal component analysis tutorial

А ты не студент ли МИРЭА???

да, я студент МИРЭА, факультет кибернетики. А зачем Вы спрашиваете?

Очень знакомая тема, по работе в этом ВУЗе, на этом факультете.
Лично я рекомендую К . Фукунага "Введение в статистическую теорию распознавания образов".
Сам занимался мед диагностикой, когда лежал в госпитале Бурденко с пневмонией. Мой лечащий врач был адъюнкт, у них в диссертации нужна была обязательно математическая часть. Я ему в этом помогал.
Метод главных компонент с разложением Карунена-Лоэва в любой диагностике и распознавании всего лишь снижает размерность пространства признаков ( правда, с минимальной потерей информации). Применяется лишь как первый шаг -снижаем размерность , например, до двух и выводим вектора признаков на экран дисплея. Мы это делали по признакам больных, вылечившихся и недолеченных.
Цель диссертации была в определении числа дней для лечения пневмонии, чтобы с вероятностью 0,95 больной был вылечен. До этог на лечение пневмонии по приказу министра обороны отводилось ровно 21 день.

Метод главных компонент практически приносит пользу в случае почти непересекающихся классов диагностики. В реальной диагностике(особенно на ранней стадии) эти классы сильно пересекаются. В таком случае надо использовать байсовский классификатор либо с обучением(в медицине это возможно), либо с самообучением(например, когда есть противник). Разложение Карунена-Лоэва будет при этом полезно или как начальная классификация, либо как средство выделения наиболее информативных признаков одновременно с сокращением числа признаков( для сокращения объема вычислений).

Пример медицинского применения Карунена-Лоэва.

Формирование признаков распознавания
гистологических изображений на основе
стохастической геометрии и функционального анализа
Федотов Н. Г., Шульга Л. А., Кольчугин А. С.,
Смолькин О. А., Романов С. В.
ec@diamond.stup.ac.ru
Пенза, Пензенский государственный университет
При практическом решении задачи распознавания всегда стоит
проблема выделения наиболее информативных признаков.
в решаемой нами задаче изначально генерируется более 10000 признаков. Это делает задачу определения набора информативных признаков в рамках концепции минимизации энтропии неразрешимой за реальное время.
В этих условиях целесообразно использовать методы, которые не требуют построения модели распределения и опираются на объекты, имеющиеся в обучающей выборке.
Таким методом является разложение по системе ортогональных
функций. При выборе признаков используют обобщенное разложение
Карунена-Лоэва, поскольку оно обладает следующими оптимальными
свойствами [3]:
1) минимизирует среднеквадратичную ошибку при использовании
лишь конечного числа базисных функций в разложении;
2) минимизирует функцию энтропии, выраженную через дисперсии
коэффициентов разложения.
При генерации признаков распознавания для гистологических изоб-
ражений изначально было получено 13 500 признаков. На предваритель-
ном этапе были отсеяны все вырожденные признаки, значения которых
оказались постоянными для всех образов. К оставшимся признакам бы-
ла применена процедура минимизации на основе разложения Карунена-
Лоэва. В результате, для изображений фолликул при коэффициенте
k = 0.8 было отобрано 59 признаков. Коэффициент k задает долю об-
щей суммы дисперсий Dj (E[fji ]) математических ожиданий всех призна-
ков, которая обеспечивается за счет отобранных признаков. Соотношение
внутриклассовых и межклассовых дисперсий для отобранных признаков
позволяет эффективно организовать процедуру распознавания с исполь-
зованием простых решающих правил.
Таким образом, можно сделать следующие выводы:
применение признаков со структурой в виде композиции трех функ-
ционалов (триплетных признаков) позволяет формировать большое
количество признаков в режиме автоматической компьютерной гене-
рации;
для отбора наиболее информативных признаков применима процеду-
ра, основанная на обобщенном разложении Карунена-Лоэва, которая
обеспечивает минимизацию внутриклассовой энтропии, выражаемой
через дисперсии коэффициентов разложения.
Работа выполнена при поддержке РФФИ, проект № 05-01-00991.
Федотов Н. Г., Шульга Л. А., Кольчугин А. С., Романов С. В., Смоль-
кин О. А., Курынов Д. В. Предварительная обработка гистологических
изображений в системе распознавания заболеваний щитовидной железы //
сб. тр. Надежность и качество–2006 . Пенза, 2006. Т. 2. C. 245–246.

А может кто-либо объяснить "на пальцах", на физическом уровне что и как делает разложение Карунена-Лоэва???

Попробую на своём примере. Поскольку врач не верил в математику, он создал закрытый (для меня) пример- 100 16-мерных вектора. Каждый вектор -набор признаков пациента. В примере в неизвестном для меня порядке были векторы здоровых и только поступивших с пневмонией больных. Алгоритм: строим ковариационную матрицу размером 16 на 16, вычисляем собственные векторы с соответствующими им собственными числами. При этом первый собственный вектор имеет наибольшее собственное число и т.д по убыванию. В моем примере сумма двух собственных чисел(первого и второго) составляла 90% от суммы всех 16 собственных чисел. Это говорило о том, что первые две компоненты несут 90% информации для классификации. Затем первый собственный вектор умножался скалярно на каждый из 100 16-мерных векторов, так оявлялась первая координата, потом второй собственный вектор также умножался — появлялась вторая координата. В результате перешли от 100 16-мерных векторов к 100 2-мерных векторов, вывели их на экран дисплея, увидели два непересекающихся кластера(сгущения точек) в разных углах экрана увидели — расклассифицировали всех пациентов на больных и здоровых, тогда врач поверил в математику.
Конечно, когда взяли "полубольных" и "полуздоровых" кластеры стали пересекаться, пришлось включать байесовский классификатор.

Привет форумчане,

Подскажите пожайлуйта как доказать правоту следущего неравенства

R=(R1R2):(R1+R2)<R1 где R1 и R2 > 0

Или хотя бы подскажите тему где искать