Details

Работа посвящена проектированию и реализации серверной части веб-сервиса для автоматизации загрузки, преобразования и сохранения табличных данных без написания программного кода пользователем. Цель работы состояла в разработке no-code веб-сервиса, обеспечивающего загрузку данных из файлов CSV, XLSX и внешних баз данных, выполнение преобразований, сохранение результатов. При проектировании использован подход модульного монолита. Реализация выполнена с применением Django, Django REST Framework, PostgreSQL, Celery и Redis. В результате разработана серверная часть веб-сервиса, обеспечивающая загрузку данных из файлов и внешних баз данных, создание и выполнение ETL-пайплайнов, преобразование данных и сохранение результатов. Реализованы механизмы аутентификации пользователей, управления источниками данных и взаимодействия через REST API. Разработанное решение может использоваться для автоматизации подготовки данных к дальнейшей аналитической обработке.

This work is devoted to the design and implementation of the server side of a web service for automating the loading, transformation and saving of tabular data without the user writing program code. The purpose of the work was to develop a no-code web service that provides data loading from CSV and XLSX files and external databases, execution of transformations, and saving of results. During the design, the modular monolith approach was used. The implementation was carried out using Django, Django REST Framework, PostgreSQL, Celery and Redis. As a result, the server side of the web service was developed, providing data loading from files and external databases, creation and execution of ETL pipelines, data transformation and saving of results. Mechanisms for user authentication, data source management and interaction through REST API were implemented. The developed solution can be used to automate data preparation for further analytical processing.