Детальная информация

Приведены материалы, раскрывающие содержание, методику подготовки и выполнения практических работ по анализу и обработке данных с использованием стека технологий Elasticsearch, Logstash, Kibana, Grafana, Prometheus, изучаемого студентами в дисциплинах «Наука о данных и аналитика больших объемов информации» и «Системы анализа больших данных», входящих в состав основной образовательной программы направления подготовки магистров 09.04.04 «Программная инженерия». Представлены основные теоретические сведения об инструментальных средствах, приведены цели и задачи для каждого практического задания и спектр формируемых компетенций каждого из упражнений. Учебное пособие предназначено для студентов, обучающихся по направлению подготовки магистров 09.04.04 «Программная инженерия».

The authors provide the materials revealing the content, methods of preparation and execution of practical works in data analysis and processing using the stack of technologies Elasticsearch, Logstash, Kibana, Grafana, Prometheus, studied by students in the subjects “Data science and big data analytics” and “Big data analysis systems” included in the main educational program of the Master’s degree program 09.04.04 “Software engineering”. The training manual present the basic theoretical information about the tools, describing the goals and objectives for each practical task and the range of developed competencies of each exercise. The training manual is intended for students studying in the Master’s degree program 09.04.04 “Software Engineering”.

• ОГЛАВЛЕНИЕ
• СПИСОК СОКРАЩЕНИЙ
• ПРЕДИСЛОВИЕ
• 1. НАСТРОЙКА РАБОТОСПОСОБНОГО ОКРУЖЕНИЯ С ELK-СТЕКОМ
• 1.1. Программное решение «Исследование IT-вакансий на рынке труда»
• 1.2. Получение данных о вакансиях с сайта hh.ru
• 1.3. Технические детали проекта
• 1.4. Упражнение 1
• 2. ВВЕДЕНИЕ В ELK-СТЕК
• 2.1. Необходимость анализа информации
• 2.2. ELK-стек
• 2.3. Компонент Elasticsearch
• 2.4. Технические детали компонента Elasticsearch
• 2.5. Упражнение 2
• 3. ВЗАИМОДЕЙСТВИЕС СЕРВИСАМИ ELASTICSEARCH ЧЕРЕЗ REST API
• 3.1. Индексация данных
• 3.2. Интерфейс REST API
• 3.3. Упражнение 3
• 4. СОЗДАНИЕ ИНДЕКСА И ЗАПИСЬ ДАННЫХ В ELASTICSEARCH
• 4.1. Хранение данных в Elasticsearch
• 4.2. Упражнение 4
• 5. ПРОДВИНУТОЕ ИССЛЕДОВАНИЕ ДАННЫХ В KIBANA.СЛОЖНЫЕ РАБОЧИЕ СТОЛЫ, ХОЛСТЫ И ГРАФЫ
• 5.1. Демонстрационные данные
• 5.2. Исследование (Discover)
• 5.3. Рабочий стол (Dashboard)
• 5.4. Холсты (Canvas)
• 5.5. Машинное обучение (Machine Learning)
• 5.6. Графы (Graph)
• 5.7. Упражнение 5
• 6. ИНСТРУМЕНТЫ ВИЗУАЛИЗАЦИИ GRAFANA И PROMETHEUS
• 6.1. Описание инструментов Grafana и Prometheus
• 6.2. Упражнение 6
• 7. НАСТРОЙКА ENDPOINT PROMETHEUS ДЛЯ МОНИТОРИНГА СОСТОЯНИЯ КОМПЬЮТЕРА
• 7.1. Модуль Node-Exporter
• 7.2. Упражнение 7
• 8. ВИЗУАЛИЗАЦИЯ ДАННЫХ В GRAFANA ЧЕРЕЗ PROMETHEUS
• 8.1. Сервер NGINX
• 8.2. Упражнение 8
• 9.1. База данных PostgreSQL
• 9.2. Упражнение 9
• 10. РАЗРАБОТКА SPRING-BOOT-ПРИЛОЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ СОБСТВЕННЫХ МЕТРИК ДЛЯ PROMETHEUS
• 10.1. Платформа Spring Boot
• 10.2. Упражнение 10
• 11. НАСТРОЙКА ВИЗУАЛИЗАЦИИ И ДАШБОРДОВ В GRAFANA
• 11.1. Визуализация в Grafana
• 11.2. Упражнение 11
• 12. ВИЗУАЛИЗАЦИЯ ДАННЫХ ИЗ ELASTICSEARCH В ИНСТРУМЕНТЕ GRAFANA
• 12.1. Особенности связи инструментов Grafana и Elasticsearch
• 12.2. Упражнение 12
• 13. НАСТРОЙКА ОПОВЕЩЕНИЙ В GRAFANA
• 13.1. Оповещения в Grafana
• 13.2. Упражнение 13
• 14. РАБОТА С VICTORIAMETRICS
• 14.1. Инструмент VictoriaMetrics
• 14.2. Упражнение 14
• 15. РАБОТА С HASTIC
• 15.1. Инструмент Hastic
• 15.2. Упражнение 15
• 16. НАСТРОЙКА АВТОМАТИЧЕСКОГО ДЕПЛОЯ PROMETHEUS, VICTORIAMETRICS И GRAFANA
• 16.1. Система Ansible
• 16.2. Упражнение 16
• БИБЛИОГРАФИЧЕСКИЙ СПИСОК