Анализ и интерпретация данных

Министерство образования Российской Федерации Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"

РАБОЧАЯ ПРОГРАММА дисциплины «АНАЛИЗ И ИНТЕРПРЕТАЦИЯ ДАННЫХ »

Для подготовки дипломированных специалистов по направлению 657100 – "Прикладная математика" по специальности 073000 – "Прикладная математика"

Санкт-Петербург 2001

Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"

"УТВЕРЖДАЮ" Проректор по учебной работе проф. ___________ Ушаков В.Н. “_____”_______________2001 г.

РАБОЧАЯ ПРОГРАММА дисциплины «АНАЛИЗ И ИНТЕРПРЕТАЦИЯ ДАННЫХ » Для подготовки дипломированных специалистов по направлению 657100 – "Прикладная математика" по специальности 073000 – "Прикладная математика" Факультет компьютерных технологий и информатики Кафедра математического обеспечения и применения ЭВМ Курс – 5 Семестр – 9 Лекции

48 ч.

Экзамен

9 семестр

Лабораторные работы

16 ч.

Зачет

9 семестр

Аудиторные занятия Самостоятельные занятия Всего часов

64 ч. 46 ч. 110 ч.

2001

2

Рабочая программа обсуждена на заседании кафедры математического обеспечения и применения ЭВМ "____"_______________2001 г., протокол №______. Рабочая программа согласована с рабочими программами изученных ранее дисциплин: "Высшая математика" "Теория вероятностей и математическая статистика". Рабочая программа "____"_____________2001г.

утверждена

на

методической

комиссии

ФКТИ

3

Цели и задачи дисциплины 1. Изучение базовых алгоритмов анализа и интерпретации табличных данных. 2. Формирование практических навыков работы с современными пакетами прикладных программ для решения задач анализа и интерпретации данных реализации систем цифровой обработки сигналов. Рабочая программа согласована с рабочими программами изученных ранее дисциплин: 1) Высшая математика. 2) Теория вероятностей и математическая статистика. Требования к уровню освоения дисциплины В результате изучения дисциплины студенты должны: 1. Знать основные методы решения на ЭВМ задач анализа интерпретации данных, получаемых с помощью различного рода информационно-измерительных систем. 2. Уметь применять эти методы при разработке алгоритмов анализа и обработки измерительной информации; использовать стандартную терминологию, определения и обозначения. 3. Иметь представление об основных тенденциях развития теории и практики анализа и интерпретации данных. Содержание рабочей программы Введение Предмет дисциплины и ее задачи. Краткие сведения о развитии теории анализа и интерпретации данных. Структура, содержание дисциплины, ее связи с другими дисциплинами учебного плана специальности. Перечень дисциплин и их разделов, усвоение которых необходимо студентам для изучения курса "Анализ и интерпретация данных". Тема 1. Основные понятия дисциплины. Введение в анализ данных. Проблема обработки данных. Матрица данных. Гипотезы компактности и скрытых факторов. Структура матрицы данных и задачи обработки. Матрица объект-объект и признак-признак. Расстояние и близость. Измерение признаков. Отношения и их представление. Основные проблемы измерений. Основные типы шкал. Проблема адекватности. Основные задачи анализа и интерпретации данных . Тема 2. Классификация данных с использованием детерминированных моделей. Решающие поверхности и дискриминантные функции. Линейные дискриминантные функции классификатор по минимуму расстояния. Линейная разделимость. Кусочнолинейные дискриминантные функции. Нелинейные дискриминантные функции. Фимашины. Потенциальные функции как дискриминантные функции. Пространство весов. Процедуры обучения с коррекцией ошибок: правило с фиксированным приращением, правило абсолютной коррекции, частично корректирующее правило. Обобщенные градиентные методы. Персептронный критерий. Процедуры обучения на основе минимальной среднеквадратичной ошибки: псевдоинверсный метод, метод Хо-Кашьпа.

4

Тема 3. Классификация данных на основе статистических моделей. Функция потерь. Байесовская дискриминантная функция. Принятие решение по максимуму правдоподобия. Оптимальная дискриминантная функция для нормально распределенных образов. Дискриминантная функция Фишера. Множественный дискриминантный анализ. Пошаговый дискриминантный анализ. Ошибки классификции. Примеры построения статистических дискриминантных функций для различных статистических нескольких моделей данных. Обучение для статистических дискриминантных функций. Оценки максимального правдоподобия, байесовские оценки. Непараметрическое оценивание. Парзеновские окна, метод непараметрического оценивания на основе К-ближайшего соседства. Тема 4. Кластер-анализ. Основные типы задач кластер-анализа. Меры подобия и функции расстояния . Выбор критерия кластеризации. Кластерные методы, основанные на евклидовой метрике. Иерархическая кластеризация. Метод К-внутригрупповых средних. Использование методов теории графов в задачах кластеризации. Кластеризация на основе анализа плотностей вероятностей. Тема 5. Методы снижения размерностей данных Анализ матриц исходных данных. Метод главных компонент. Корреляционная матрица и ее основные свойства. Собственные векторы и собственные числа корреляционной матрицы. Приведение корреляционной матрицы к диагональной форме. Геометрическая интерпретация главных компонент на плоскости. Модели факторного анализа. Оценка факторных нагрузок методом максимального правдоподобия и центроидным методом. Вращение факторов и их интерпретация. Использование кластеризации признаков для снижения размерности. Многомерное шкалирование (МИ). Метрический и неметрический подход к МИ. Методы ортогонального проектирования. Нелинейные методы МИ. Многомерное шкалирование неметрических данных. Многомерные развертки. Тема 6. Методы прогнозирования временных рядов. Классификация методов прогнозирования. Оценивание трендов. Методы скользящего среднего. Экспоненциальное сглаживание. Регрессионный анализ и прогнозирование. Линейные параметрические модели временных рядов. Методы оценивания моделей авторегрессии, скользящего среднего и смешанных моделей. Сезонные модели. Прогнозирование на основе параметрических моделей. Прогнозирование с использованием нейронных сетей. Тема 7. Системы DATA MINING. в задачах анализа и интерпретации данных. Понятие об интеллектуальных системах анализа и интерпретации данных. DATA MINING - системы извлечения новых знаний из данных. Типы систем DATA MINING предметно-ориентированные аналитические системы, статистические пакеты, нейронные сети, деревья решений, обнаружение логических закономерностей, генетические алгоритмы, системы визуализации многомерных данных Тема 8. Современные пакеты прикладных программ для решения задач обработки экспериментальных данных

5

Табличные процессоры и базы данных в задачах обработки данных. Виды статистических пакетов. Требования к статистическим пакетам общего назначения. Общая характеристика пакетов "STATGRAFICS Plus", "STATISTICA", SAS, SPSS . Комплексные системы класса DATA MINING для обработки данных - "PolyAnalist", Intelligent Miner. Заключение. Перспективные направления развития и использования методов анализа и интерпретации данных Перечень лабораторных работ № 1 1 2 3 4 5 6

Наименование лабораторной работы 2 Предварительный анализ данных с использованием пакета программ "STATISTICA" Изучение методов дискриминантного анализа с использованием пакета программ "STATISTICA" Изучение методов кластер-анализа с использованием пакета программ "STATISTICA" Изучение методов факторного-анализа с использованием пакета программ "STATISTICA" Классификация данных и изучение методов снижения размерности данных с использованием пакета программ "Геконал" Изучение методов прогнозирования временных рядов с использованием пакета программ "STATISTICA"

Номера тем 3 2 3 3 4 2 2

6

Распределение учебных часов по темам и видам занятий Объем учебных часов № темы

Название разделов и тем

Лекции

Лаб. Занятия

Практ. занятия

Ауд. занятия

Се ме стр Сам. работа

Всего

4 8

2 10 16

9 9 9

Введение Основные понятия дисциплины Классификация данных с использованием детерминированных моделей Классификация данных на основе статистических моделей Кластер-анализ

2 4 6

2 2

2 6 8

8

3

11

8

19

9

6

3

9

6

15

9

Методы снижения размерностей данных Методы прогнозирования временных рядов

8

4

12

8

20

9

6

2

8

6

14

9

7

Системы DATA MINING в задачах анализа и интерпретации данных.

4

4

3

7

9

8

Современные пакеты прикладных программ для решения задач обработки экспериментальных данных

3

3

3

6

9

Заключение

1 48

1 64

46

1 110

1 2

3 4 5 6

ИТОГО:

16

7

ЛИТЕРАТУРА Основная № 1

2 3

4

Название, библиографическое описание

Л

Лр

Ю.Н.Тюрин, А.А. Макаров. Анализ данных на компьютере.-М.: Финансы и статистика,1995,-384 с. В. Дюк, А. Самойленко. «Data Mining», - СПб:-, Питер, 2001,- 366 с.

9

Справочник по прикладной статистики т.2.под редакцией Э.Ллойда, У.Ледермана.М.:Финансы и статистика,1990,-526 с.

9

9

В. А. Дюк. Обработка данных на ПК в примерах. -СПб: Питер, 1997,- 240 с.

9

9

9

9

Кп (ð)

К-во экз. в библ. (на каф.)

Гриф

Уч ф Уч Ф

Дополнительная №

Название, библиографическое описание

К-во экз. в библ. (на каф.)

Т1:31 экз Т2: 20 экз

1

М.Дейвисон. Многомерное шкалирование.- М.:Финансы и статистика,1988,-254 с.

2

А.Ю.Терехина. Анализ данных методами многомерного шкалирования.М.:Наука, 1986,-168 с.

0

3

Айвазян С. А., Бухштабер В. М., Юнюков И. С., Мешалкин Л. Д. Прикладная статистика: Классификация и снижение размерности.-М.: Финансы и статистика, 1989.

0

4

И.Гайдышев .Анализ и обработка данных . Специальный справочник.– СПб.: Питер - 2002, с. 752

0

8

Автор: сд.т.н., профессор Рецензент д.т.н., профессор Зав. кафедрой математического обеспечения и применения ЭВМ д.т.н., профессор Декан факультета Компьютерных технологий и информатики д.т.н., профессор

Геппенер В.В. Куприянов М.С. Лисс А.Р. Герасимов И.В.

Программа согласована: Зав. отделом учебной литературы

Киселева Т.Г.

Руководитель методического отдела к.т.н., доцент

Марасина Л.А.

Председатель методической комиссии факультета КТИ к.т.н., доцент

Михалков В.А.

9