Детальная информация

Цель работы — исследование возможностей использования больших языковых моделей (LLM) для сжатия текстовых данных без потерь и разработка программного пакета lmcodec, реализующего данный подход. Объект исследования — методы сжатия текстовых данных без потерь. Предмет исследования — применение больших языковых моделей в качестве вероятностных моделей для арифметического кодирования. Проведён анализ классических алгоритмов сжатия (GZIP, BZIP2, LZMA) и нейросетевых подходов к нему. Разработан пакет lmcodec, реализующий двухфазный алгоритм: языковая модель вычисляет вероятности токенов с KV-кэшем, затем эти вероятности поступают в ANS-кодер. Протестировано пять моделей на корпусе text8 — от GPT-2 со 124M параметрами до Mistral-7B с семью миллиардами. В результате экспериментальной проверки подтверждены все четыре гипотезы. Наилучший результат — 0,7648 бит на символ (BPC) — достигнут с моделью Mistral-7B, что в 2,99 раза превышает коэффициент сжатия алгоритма BZIP2 (2,2838 BPC). Установлено, что применение LLM-компрессоров сопряжено с замедлением в ~19 000 раз относительно GZIP, что ограничивает область применения сценариями офлайн-архивирования.

The goal of this work is to investigate the feasibility of using large language models (LLMs) for lossless text data compression, and to develop the lmcodec software package implementing this approach. Classical lossless compression algorithms (GZIP, BZIP2, LZMA) and neural network-based approaches were analysed. The lmcodec software package was developed, implementing a two-phase pipeline: a probability computation phase where the language model assigns token probabilities using KV-caching, followed by ANS-based entropy coding. Five models ranging from GPT-2 (124M parameters) to Mistral-7B (7B parameters) were tested on the text8 corpus. All four research hypotheses were confirmed experimentally. The best result — 0.7648 bits per character (BPC) — was achieved with the Mistral-7B model, which is 2.99 times better than BZIP2 (2.2838 BPC). It was established that LLM-based compression is approximately 19,000 times slower than GZIP, limiting its practical application to offline archiving scenarios.