Details

Магистерская диссертация посвящена исследованию возможных подходов к ускорению работы больших языковых моделей на процессорах архитектуры RISC-V на основе проекта llama.cpp. Была рассмотрена структура проекта llama.cpp, изучена архитектура RISC-V на предмет возможных ускорений работы данного проекта. В ходе работы представлено несколько сборок llama.cpp на процессоры архитектуры RISC-V, с применением различных подходов к ускорению работы. Подробно рассмотрена реализация матричных вычислений в llama.cpp с использованием векторного расширения RISC-V. Представлена реализация матричных вычислений в llama.cpp с использованием матричного расширения от компании T-HEAD. Проведено тестирование полученных сборок llama.cpp при помощи эмулятора QEMU и на одноплатном компьютере Orange PI RV2.

The masters thesis is dedicated to research of possible approaches to acceleration of large language models on RISC-V architecture processors on the basis of llama.cpp project. The structure of the llama.cpp project was examined, and the RISC-V architecture was studied for possible accelerations of this project. In the course of the work several llama.cpp builds on RISC-V architecture processors are presented, using different approaches to speeding up the work. The implementation of matrix computations in llama.cpp using the RISC-V vector extension is discussed in detail. The implementation of matrix calculations in llama.cpp using the matrix extension from T-HEAD company is presented. The obtained llama.cpp assemblies are tested using QEMU emulator and on Orange PI RV2 single-board computer.