Details

Данная работа посвящена разработке методов переноса алгоритмов, написанных на процедурном языке PL/SQL на фреймворк для Java Apache Spark, а также оптимизация данных алгоритмов для работы с большими данными. Задачи, которые решались в ходе выполнения работы: 1. Проведение обзора средств разработки 2. Анализ исходных алгоритмов, и разработка методики переноса исходных алгоритмов на Apache Spark 3. Разработка методов оптимизации работы с большими данными 4. Анализ методов оптимизации с различным объёмом данных 5. Демонстрация результатов работы программ без использования разработанных методов оптимизаций и результатов работы программы с использованием данных методов. В результате выполнения работы было разработано и оптимизированно программное обеспечение для ПАО «Сбербанк», полностью повторяющее функциональность написанных алгоритмов на PL/SQL, но работающее быстрее.

This work is devoted to the development of methods for transferring algorithms written in the procedural language PL/SQL to the Java framework Apache Spark, as well as optimizing these algorithms for working with big data. Tasks that were solved during the work: 1. Review of development tools 2. Analysis of source algorithms, and development of a methodology for migrating source algorithms to Apache Spark 3. Development of methods for optimizing work with big data 4. Analysis of optimization methods with different amounts of data 5. Demonstration of the results of the programs without using the developed optimization methods and the results of the program using these methods. As a result of the work, software was developed and optimized for Sberbank PJSC, completely migrating the functionality of the algorithms written in PL/SQL to Apache Spark with enhanced time performance.