Details

Цель работы состоит в разработке и исследовании подхода к линеаризации механизма внимания в архитектурах класса Transformer. Предмет исследования включает методы ускорения self-attention, а также варианты их модификации, ориентированные на более быструю обработку последовательностей. Методология работы предполагает теоретический разбор механизмов внимания, программную реализацию предложенной модифицированной модели и экспериментальное сопоставление с классическим self-attention по метрикам точности и вычислительным (временным) затратам на задаче классификации текстовых отзывов. В работе предложена модификация механизма внимания трансформера – линейная агрегация контекста по векторам Value без вычисления матриц Q×KT с модуляцией токенов позиционным сигналом. На ее основе разработаны два метода: разреженная схема и метод локальных окон. Тесты на платформе NVIDIA DGX (Tesla V100) показали, что предлагаемые механизмы внимания сокращают среднее время эпохи обучения на 11,9–25,5% с сохранением качества классификации текстовых данных и при том же объеме видеопамяти. Полученные результаты применимы для ускорения процессов обучения моделей класса BERT на существующих вычислительных мощностях.

This work aims to develop and examine an approach that linearizes the attention mechanism within Transformer-type architectures. The scope of the study includes methods that accelerate self-attention, along with their variants designed to improve the efficiency of sequence processing. The research methodology combines a theoretical review of attention mechanisms with a software implementation of the proposed modified model, followed by an experimental evaluation against standard self-attention with respect to predictive performance and computational runtime on a text review classification task. The study proposes a modification of the transformer attention mechanism via linear context aggregation using Value vectors with positional signal modulation, eliminating Q × KT matrix calculations. Based on this approach, two methods were developed: a sparse scheme and a local window method. Tests on the NVIDIA DGX platform (Tesla V100) show that the proposed attention mechanisms reduce average per-epoch training time by 11.9%–25.5% without compromising text data classification quality while maintaining the same VRAM footprint. The results are applicable for accelerating the training processes of BERT-class models using the existing computing infrastructure.