Details

В работе изложена концепция создания программного инструмента, обеспечивающего автоматизированное преобразование разнотипных данных OLAP-куба в формальный контекст с последующим построением концептуальной решётки. Проанализированы существующие методы анализа данных в многомерных базах, рассмотрены алгоритмы построения концептуальной решётки и стратегии пороговой бинаризации числовых атрибутов. Спроектирована архитектура и разработан прототип системы, поддерживающей пять стратегий бинаризации (equal_width, mean, median, quantile, k-means) и экспорт формального контекста в стандартный формат для визуализации. Проведено тестирование на наборе данных UCI Adult в виде трёх серий экспериментов. Результаты показали, что стратегия mean устойчиво порождает наибольшее число формальных понятий, а median и quantile формируют наиболее компактные решётки, устойчивые к выбросам. Установлено, что расширение состава атрибутов влияет на размер решётки сильнее, чем рост объёма выборки. Сформулированы практические рекомендации по выбору стратегии бинаризации, корректность реализации алгоритма Close-by-One подтверждена независимой верификацией.

The work presents the concept of developing a software tool that provides automated transformation of heterogeneous OLAP cube data into a formal context with subsequent construction of a concept lattice. Existing methods of data analysis in multidimensional databases are analysed, algorithms for concept lattice construction and threshold binarization strategies for numerical attributes are considered. The architecture is designed and a prototype of the system is developed, supporting five binarization strategies (equal_width, mean, median, quantile, k-means) and export of the formal context in a standard format for visualization. Testing was carried out on the UCI Adult dataset in three series of experiments. The results showed that the mean strategy consistently produces the largest number of formal concepts, while median and quantile form the most compact lattices, resistant to outliers. It was established that the expansion of the attribute set affects the lattice size more strongly than the growth of the sample size. Practical recommendations for choosing a binarization strategy were formulated, and the correctness of the Close-by-One algorithm implementation was confirmed by independent verification.

• СОДЕРЖАНИЕ
• ВВЕДЕНИЕ
• ГЛАВА 1. ИССЛЕДОВАНИЕ МЕТОДОВ АНАЛИЗА ДАННЫХ И ВЫБОР МЕТОДА КОНЦЕПТУАЛЬНЫХ РЕШЕТОК КАК ОПТИМАЛЬНОГО ПОДХОДА
  • 1.1. Многомерные базы данных и OLAP-технология
  • 1.2. Обзор и анализ современных технологий анализа данных в многомерных базах данных
    • 1.2.1. Обзор современных технологий анализа данных
    • 1.2.2. Сравнение методов и технологий анализа данных
  • 1.3. Выводы
• ГЛАВА 2. МАТЕМАТИЧЕСКИЕ ОСНОВЫ МЕТОДА КОНЦЕПТУАЛЬНЫХ РЕШЕТОК И ЕГО ПРИМЕНЕНИЕ В АНАЛИЗЕ МНОГОМЕРНЫХ ДАННЫХ
  • 2.
  • 2.1. Алгоритм метода концептуальных решеток и его математическое обоснование
    • 2.1.1. Формальный контекст и формальное понятие
    • 2.1.2. Концептуальная решётка и её свойства
    • 2.1.3. Алгоритмы построения концептуальной решётки
  • 2.2. Стратегии бинаризации числовых атрибутов
  • 2.3. Применение метода к данным OLAP-куба
  • 2.4. Метрики формального контекста и решётки
  • 2.5. Выводы
• ГЛАВА 3. РАЗРАБОТКА ПРОГРАММНОГО ИНСТРУМЕНТА АВТОМАТИЗАЦИИ ПЕРЕХОДА ОТ OLAP-ДАННЫХ К ФОРМАЛЬНОМУ КОНТЕКСТУ
  • 1.
  • 2.
  • 3.
  • 3.1. Инструментальная база разработки
  • 3.2. Архитектура программного инструмента
  • 3.3. Реализация модуля бинаризации числовых атрибутов
  • 3.4. Алгоритм Close-by-One и вычисление метрик решётки
  • 3.5. Веб-интерфейс конвертера из OLAP в FCA
  • 3.6. Скрипт автоматизированного сравнительного эксперимента
  • 3.7. Выводы
• ГЛАВА 4. ТЕСТИРОВАНИЕ И СРАВНИТЕЛЬНЫЙ АНАЛИЗ СТРАТЕГИЙ БИНАРИЗАЦИИ
  • 4.
  • 1.
  • 2.
  • 3.
  • 4.
  • 4.1. Эксперимент 1 — влияние стратегии бинаризации на размер решётки
  • 4.2. Эксперимент 2 — устойчивость стратегий к размеру выборки
  • 4.3. Эксперимент 3 — устойчивость стратегий к составу атрибутов
  • 4.4. Верификация результатов
  • 4.5. Сравнительный анализ результатов
  • 4.6. Выводы
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• Приложение 1
• Приложение 2
• Приложение 3
• Приложение 4
• Приложение 5