Details

Выпускная квалификационная работа посвящена разработке мобильного приложения для Android, реализующего поиск изображений по текстовым запросам с использованием модели CLIP. В основе решения лежит готовая библиотека clip.cpp, код которой был изучен и адаптирован для мобильной платформы путём преобразования в формат clip.aar. Проведён анализ алгоритмов векторизации текста и изображений, реализованных в clip.cpp, что позволило интегрировать их в приложение без изменения базовой логики работы модели. Разработана архитектура системы, включающая модуль взаимодействия с библиотекой, интерфейс для ввода запросов и механизм семантического поиска по локальным изображениям. Для оптимизации производительности применены методы кэширования векторов и управления ресурсами. Тестирование приложения подтвердило его эффективность: результаты демонстрируют высокую скорость обработки запросов и точность поиска, сопоставимую с аналогами. Значимость работы заключается в адаптации низкоуровневых механизмов clip.cpp для Androidсреды и организации локального семантического поиска без зависимости от облачных сервисов.

The graduate qualification work is devoted to the development of a mobile application for Android, realizing the search of images by text queries using the CLIP model. The solution is based on the ready clip.cpp library, the code of which was studied and adapted for the mobile platform by converting it into clip.aar format. Text and image vectorization algorithms implemented in clip.cpp were analyzed, which allowed to integrate them into the application without changing the basic logic of the model. The system architecture was developed, including the module of interaction with the library, the interface for entering queries and the mechanism of semantic search by local images. Vector caching and resource management methods were applied to optimize performance. Testing of the application confirmed its effectiveness: the results demonstrate high query processing speed and search accuracy comparable to analogs. The significance of the work lies in adapting low-level mechanisms of clip.cpp for Android environment and organizing local semantic search without dependence on cloud services.