Details
Title | Программные инструменты обработки и визуализации данных. Elasticsearch, Logstash, Kibana, Grafana, Prometheus: учебное пособие |
---|---|
Creators | Никифоров Игорь Валерьевич ; Юсупова Ольга Андреевна ; Воинов Никита Владимирович ; Ковалев Артем Дмитриевич ; Ткачук Андрей Сергеевич ; Варламов Дмитрий Андреевич ; Гераськин Евгений Вадимович |
Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий. Высшая школа программной инженерии |
Imprint | Санкт-Петербург: ПОЛИТЕХ-ПРЕСС, 2023 |
Collection | Учебная и учебно-методическая литература ; Общая коллекция |
Subjects | Информация — Обработка на вычислительных машинах |
UDC | 004.04(075.8) |
Document type | Tutorial |
File type | |
Language | Russian |
Speciality code (FGOS) | 09.00.00 |
Speciality group (FGOS) | 090000 - Информатика и вычислительная техника |
DOI | 10.18720/SPBPU/2/id23-74 |
Rights | Доступ по паролю из сети Интернет (чтение, печать) |
Record key | RU\SPSTU\edoc\70778 |
Record create date | 5/24/2023 |
Allowed Actions
–
Action 'Read' will be available if you login or access site from another network
Group | Anonymous |
---|---|
Network | Internet |
Приведены материалы, раскрывающие содержание, методику подготовки и выполнения практических работ по анализу и обработке данных с использованием стека технологий Elasticsearch, Logstash, Kibana, Grafana, Prometheus, изучаемого студентами в дисциплинах «Наука о данных и аналитика больших объемов информации» и «Системы анализа больших данных», входящих в состав основной образовательной программы направления подготовки магистров 09.04.04 «Программная инженерия». Представлены основные теоретические сведения об инструментальных средствах, приведены цели и задачи для каждого практического задания и спектр формируемых компетенций каждого из упражнений. Учебное пособие предназначено для студентов, обучающихся по направлению подготовки магистров 09.04.04 «Программная инженерия».
The authors provide the materials revealing the content, methods of preparation and execution of practical works in data analysis and processing using the stack of technologies Elasticsearch, Logstash, Kibana, Grafana, Prometheus, studied by students in the subjects “Data science and big data analytics” and “Big data analysis systems” included in the main educational program of the Master’s degree program 09.04.04 “Software engineering”. The training manual present the basic theoretical information about the tools, describing the goals and objectives for each practical task and the range of developed competencies of each exercise. The training manual is intended for students studying in the Master’s degree program 09.04.04 “Software Engineering”.
Network | User group | Action |
---|---|---|
ILC SPbPU Local Network | All |
|
Internet | Authorized users SPbPU |
|
Internet | Anonymous |
|
- ОГЛАВЛЕНИЕ
- СПИСОК СОКРАЩЕНИЙ
- ПРЕДИСЛОВИЕ
- 1. НАСТРОЙКА РАБОТОСПОСОБНОГО ОКРУЖЕНИЯ С ELK-СТЕКОМ
- 1.1. Программное решение «Исследование IT-вакансий на рынке труда»
- 1.2. Получение данных о вакансиях с сайта hh.ru
- 1.3. Технические детали проекта
- 1.4. Упражнение 1
- 2. ВВЕДЕНИЕ В ELK-СТЕК
- 2.1. Необходимость анализа информации
- 2.2. ELK-стек
- 2.3. Компонент Elasticsearch
- 2.4. Технические детали компонента Elasticsearch
- 2.5. Упражнение 2
- 3. ВЗАИМОДЕЙСТВИЕС СЕРВИСАМИ ELASTICSEARCH ЧЕРЕЗ REST API
- 3.1. Индексация данных
- 3.2. Интерфейс REST API
- 3.3. Упражнение 3
- 4. СОЗДАНИЕ ИНДЕКСА И ЗАПИСЬ ДАННЫХ В ELASTICSEARCH
- 4.1. Хранение данных в Elasticsearch
- 4.2. Упражнение 4
- 5. ПРОДВИНУТОЕ ИССЛЕДОВАНИЕ ДАННЫХ В KIBANA.СЛОЖНЫЕ РАБОЧИЕ СТОЛЫ, ХОЛСТЫ И ГРАФЫ
- 5.1. Демонстрационные данные
- 5.2. Исследование (Discover)
- 5.3. Рабочий стол (Dashboard)
- 5.4. Холсты (Canvas)
- 5.5. Машинное обучение (Machine Learning)
- 5.6. Графы (Graph)
- 5.7. Упражнение 5
- 6. ИНСТРУМЕНТЫ ВИЗУАЛИЗАЦИИ GRAFANA И PROMETHEUS
- 6.1. Описание инструментов Grafana и Prometheus
- 6.2. Упражнение 6
- 7. НАСТРОЙКА ENDPOINT PROMETHEUS ДЛЯ МОНИТОРИНГА СОСТОЯНИЯ КОМПЬЮТЕРА
- 7.1. Модуль Node-Exporter
- 7.2. Упражнение 7
- 8. ВИЗУАЛИЗАЦИЯ ДАННЫХ В GRAFANA ЧЕРЕЗ PROMETHEUS
- 8.1. Сервер NGINX
- 8.2. Упражнение 8
- 9.1. База данных PostgreSQL
- 9.2. Упражнение 9
- 10. РАЗРАБОТКА SPRING-BOOT-ПРИЛОЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ СОБСТВЕННЫХ МЕТРИК ДЛЯ PROMETHEUS
- 10.1. Платформа Spring Boot
- 10.2. Упражнение 10
- 11. НАСТРОЙКА ВИЗУАЛИЗАЦИИ И ДАШБОРДОВ В GRAFANA
- 11.1. Визуализация в Grafana
- 11.2. Упражнение 11
- 12. ВИЗУАЛИЗАЦИЯ ДАННЫХ ИЗ ELASTICSEARCH В ИНСТРУМЕНТЕ GRAFANA
- 12.1. Особенности связи инструментов Grafana и Elasticsearch
- 12.2. Упражнение 12
- 13. НАСТРОЙКА ОПОВЕЩЕНИЙ В GRAFANA
- 13.1. Оповещения в Grafana
- 13.2. Упражнение 13
- 14. РАБОТА С VICTORIAMETRICS
- 14.1. Инструмент VictoriaMetrics
- 14.2. Упражнение 14
- 15. РАБОТА С HASTIC
- 15.1. Инструмент Hastic
- 15.2. Упражнение 15
- 16. НАСТРОЙКА АВТОМАТИЧЕСКОГО ДЕПЛОЯ PROMETHEUS, VICTORIAMETRICS И GRAFANA
- 16.1. Система Ansible
- 16.2. Упражнение 16
- БИБЛИОГРАФИЧЕСКИЙ СПИСОК
Access count: 22
Last 30 days: 0