Details

Данная работа посвящена созданию программного решения для автоматизированного сбора и анализа данных о сетевом оборудовании в серверных системах. В ходе исследования проведен анализ существующих инструментов мониторинга, выявлены их ключевые ограничения, и предложена альтернативная архитектура агрегатора. С использованием языка программирования Go и технологий gRPC/Protobuf для Linux разработана модульная система, интегрирующая данные из системных утилит (ethtool, udev, dmidecode), низкоуровневых интерфейсов (sysfs), аппаратных дампов (EEPROM SFP-модулей). Реализованы механизм асинхронного сбора данных с кэшированием, алгоритм обнаружения и построения топологии устройств через udev, конфигурируемый API для интеграции с высокоуровневыми системами. Разработанный агрегатор используется в продуктах компании Yadro для мониторинга 500+ серверов и применяется для автоматической инвентаризации сетевого оборудования и оперативного выявления его деградации.

This work is devoted to the creation of a program solution for the automated collection and analysis of data about network hardware in the server systems. In the course of the research, the existing tools are analyzed monitoring tools, identified their key limitations, and proposed an alternative aggregator architecture. Using the Go programming language and gRPC/Protobuf technologies for Linux, a modular system is developed that integrates data from system utilities (ethtool, udev, dmidecode), low-level interfaces (sysfs), hardware dumps (EEPROM of SFP modules). The mechanism of asynchronous data collection with caching, algorithm for detecting and building device topology via udev, configurable API for integration with high-level systems. The developed aggregator is used in the companys products Yadro products for monitoring 500+ servers and is used for automatic inventory of network equipment and operational detection of its degradation.

• ВВЕДЕНИЕ
• ГЛАВА 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ
  • 1.1. Обзор сетевого аппаратного обеспечения в серверных системах
    • 1.1.1. Сетевые адаптеры (NIC) и Fibre Channel адаптеры (FC HBA)
    • 1.1.2. Влияние на производительность серверов
    • 1.1.3. Выводы по параграфу
  • 1.2. Анализ существующих решений
    • 1.2.1. Обзор существующих инструментов для сбора информации о сетевом аппаратном обеспечении
    • 1.2.2. Выводы по параграфу
  • 1.3. Выводы по главе
• ГЛАВА 2. ТЕОРЕТИЧЕСКОЕ ПРЕДЛОЖЕНИЕ И ОБОСНОВАНИЕ АРХИТЕКТУРЫ
  • 2.1. Общий подход к архитектуре
  • 2.2. Определение средств для сбора данных
    • 2.2.1. Средства для работы с устройствами
    • 2.2.2. Сбор EEPROM SFP-модулей: структура данных и методы обработки
  • 2.3. Выводы по главе
• ГЛАВА 3. РЕАЛИЗАЦИЯ АГРЕГАТОРА
  • 3.1. Контекстная диаграмма системы
  • 3.2. Архитектурный уровень и алгоритм работы
  • 3.3. Набор инструментов и технологий
  • 3.4. Специфика реализации
    • 3.4.1. Механизм асинхронного сбора данных
    • 3.4.2. Алгоритм обнаружения сетевых устройств
    • 3.4.3. Стратегия кэширования и актуальность данных
    • 3.4.4. Выводы по разделу
  • 3.5. Конфигурация и управление
    • 3.5.1. Описание конфигурационного файла
    • 3.5.2. Программный интерфейс сервиса
  • 3.6. Запуск системы
  • 3.7. Выводы по главе
• ГЛАВА 4. АПРОБАЦИЯ И АНАЛИЗ СИСТЕМЫ
  • 4.1. Тестирование
    • 4.1.1. Покрытие кода
    • 4.1.2. Статический анализ кода
    • 4.1.3. Автоматизированное тестирование системы с использованием Jenkins
  • 4.2. Проблемы: причины и решение
    • 4.2.1. Просадка производительности
    • 4.2.2. Чрезмерное логгирование в журнал ядра
  • 4.3. Анализ внедрения системы в продукты компании Yadro
  • 4.4. Выводы по главе
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ А. Диаграмма действий
• ПРИЛОЖЕНИЕ Б. API для внешнего взаимодействия