Details

Данная работа посвящена разработке методики автоматизации тестирования облачных PaaS-сервисов. Сравнительный анализ подходов к тестированию в виртуализированных средах показал, что подход на основе сетевой связности обеспечивает оптимальный баланс между трудоёмкостью поддержки, сложностью внедрения и возможностями локальной разработки. Предложена методика автоматизации тестирования пользовательских сценариев PaaS-платформы, которая переводит традиционное прохождение приёмо-сдаточных испытаний в полностью автоматизированный процесс. Реализован тестовый фреймворк на языке Python с использованием Playwright для UI-тестирования и pytest в качестве среды исполнения тестов, обеспечивающий автоматизацию приёмо-сдаточных испытаний для 16 продуктов в 6 типах окружений. Результаты экспериментального исследования, проведённого путём сравнения трудоёмкости регрессионного цикла тестирования при традиционном и автоматизированном прохождении приёмо-сдаточных испытаний для всех продуктов платформы в различных типах окружений, показали снижение трудоёмкости обеспечения качества облачных сервисов более чем в 30 раз: с 120 человеко-часов при традиционном прохождении до 4 часов при автоматизированном запуске.

This work is devoted to the development of a methodology for automated testing of cloud PaaS services. A comparative analysis of approaches to testing in virtualized environments has shown that the network-based approach provides an optimal balance between maintenance effort, implementation complexity, and local development capabilities. A methodology for automated testing of PaaS platform user scenarios was proposed, which transforms traditional acceptance testing into a fully automated process. A test framework was implemented in Python using Playwright for UI testing and pytest as the test execution environment, providing automation of acceptance testing for 16 products across 6 environment types. The results of an experimental study, conducted by comparing the labor intensity of the regression testing cycle under traditional and automated acceptance testing for all platform products across various environment types, showed a reduction in the labor intensity of ensuring cloud service quality by more than 30 times: from 120 person-hours under traditional testing to 4 hours under automated execution.

• СПИСОК ИЛЛЮСТРАЦИЙ
• СПИСОК ТАБЛИЦ
• СПИСОК СОКРАЩЕНИЙ
• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ - ОБЛАЧНЫЕ PAAS-ПЛАТФОРМЫ
• 1.1. Облачные PaaS-платформы и их особенности
• 1.2. Существующие процессы обеспечения качества ПО
• 1.3. Подходы к автоматизации тестирования в виртуализированных средах
• 1.3.1. Внешнее управление (Agentless)
• 1.3.2. Сетевая связность (Network-based)
• 1.3.3. Локальный запуск (In-Guest / Agent-based)
• 1.4. Анализ характеристик различных подходов к тестированию в виртуализированных средах
• 1.5. Обзор подходов к тестированию в индустрии (Big Tech)
• 1.6. Выводы
• ГЛАВА 2. МЕТОДИКА АВТОМАТИЗАЦИИ ТЕСТИРОВАНИЯ ОБЛАЧНЫХ СЕРВИСОВ
• 2.1. Назначение и применимость методики
• 2.2. Этапы методики автоматизации тестирования
• 2.2.1. Адаптация ПМИ под автоматизацию
• 2.2.2. Классификация тестов
• 2.2.3. Организация ожиданий завершения операций конфигурирования
• 2.2.4. Механизм «мягких проверок»
• 2.2.5. Агностичность тестов к среде исполнения
• 2.2.6. Интеграция с сервисом управления тестовых пользователей
• 2.2.7. Очистка ресурсов после тестирования
• 2.3. Требования к отчётности
• 2.4. Выводы
• ГЛАВА 3. РЕАЛИЗАЦИЯ ТЕСТОВОГО ФРЕЙМВОРКА
• 3.1. Архитектура фреймворка
• 3.1.1. Модель объекта страницы (Page Object Model)
• 3.1.2. API клиенты
• 3.1.3. Классы продуктов (Product Classes)
• 3.2. Стек технологий
• 3.3. Настройка CI/CD
• 3.3.1. Гранулярные пайплайны
• 3.3.2. Ночные ежедневные запуски тестов
• 3.4. Покрытие продуктов тестами
• 3.5. Характеристики проекта
• 3.6. Выводы
• ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ МЕТОДИКИ
• 4.1. Цель и методика эксперимента
• 4.2. Результаты эксперимента
• 4.3. Анализ результатов
• 4.4. Выводы
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ