Details

Объектом исследования являются процессы изменения данных в реляционных базах данных на примере PostgreSQL. Предметом исследования выступают методы и программные средства фиксации и анализа изменений данных, основанные на механизмах логической репликации и логического декодирования PostgreSQL. Цель работы состоит в проектировании и реализации подсистемы аудита изменений данных в PostgreSQL на основе логической репликации, обеспечивающей регистрацию операций изменения данных, сохранение ключевых атрибутов аудита и функционирование без использования внешних брокеров сообщений. Методы проведения работы включают анализ существующих подходов к аудиту изменений данных в реляционных СУБД, сравнительный анализ инструментальных средств PostgreSQL, проектирование архитектуры подсистемы, разработку программного сервиса обработки WAL-событий. При выполнении работы использовались следующие технологии и программные средства: СУБД PostgreSQL 15, wal2json, Python 3.12, psycopg2, python-dotenv, Miniconda. Результатом работы является реализованная подсистема аудита, сохраняющая сведения об изменениях данных, регистрирующая ошибки обработки и фиксирующая состояние сервиса. В ходе тестирования подтверждена корректная фиксация изменённых данных, идентификаторов транзакций, позиций WAL, временных меток и пользовательского контекста. Область применения результатов работы — информационные системы на базе PostgreSQL, в которых требуется регистрация, анализ и последующее использование истории изменений данных без внедрения сложной внешней инфраструктуры. По результатам работы сделан вывод, что разработанная подсистема корректно фиксирует основные операции изменения данных и может использоваться как основа для дальнейшего развития автономных решений аудита в PostgreSQL.

The object of the research is data change processes in relational databases using PostgreSQL as an example. The subject of the research is methods and software tools for recording and analyzing data changes based on PostgreSQL logical replication and logical decoding mechanisms. The aim of the work is to design and implement a data change audit subsystem in PostgreSQL based on logical replication, ensuring the registration of data modification operations, the storage of key audit attributes, and operation without the use of external message brokers. The methods used in the work include the analysis of existing approaches to data change auditing in relational database management systems, comparative analysis of PostgreSQL tools, design of the subsystem architecture, development of a software service for processing WAL events. The following technologies and software tools were used in the work: PostgreSQL 15, wal2json, Python 3.12, psycopg2, python-dotenv, Miniconda. The result of the work is an implemented audit subsystem that stores information about data changes, records processing errors, and maintains the state of the service. The testing confirmed the correct recording of changed data, transaction identifiers, WAL positions, timestamps, and user context. The area of application of the work results is PostgreSQL-based information systems that require recording, analysis, and further use of data change history without introducing complex external infrastructure. Based on the results of the work, it was concluded that the developed subsystem correctly records the main data modification operations and can be used as a basis for the further development of autonomous audit solutions in PostgreSQL.

• Проектирование и реализация подсистемы аудита изменений данных в PostgreSQL на основе логической репликации
  • Введение
  • 1. Обзор существующих решений и исследований в области аудита изменений данных
  • 2. Выбор технологий и проектирование подсистемы аудита изменений данных
  • 3. Реализация подсистемы аудита изменений данных
  • 4. Тестирование подсистемы аудита изменений данных
  • Заключение
  • Список использованных источников
  • Приложение 1 Диаграммы подсистемы аудита
  • Приложение 2 Основные модули проекта