Details

В работе рассмотрена разработка программной системы семантического поиска по тексту с расширенным SQL-интерфейсом, встроенной генерацией эмбеддингов, точным GPU-поиском полным перебором и приближённым GPU-индексом IVF-Flat, исполнением в режиме одного и нескольких графических процессоров. Поиск выполнен по косинусной мере на нормированных по L2 векторах. Точный путь реализован полным перебором на CUDA, приближённый путь построен на индексе IVF-Flat с автоматической активацией по размеру базы. Эмбеддинги вычисляет модель EmbeddingGemma-300M с матрёшечным усечением выхода. Целевые показатели работы сформулированы тремя независимыми параметрами: задержкой поиска, полнотой приближения и расчётной ёмкостью узла. Экспериментальная проверка выполнена на узле кластера с графическими процессорами Tesla V100. Получено время отклика менее одной миллисекунды приближённого поиска на базе порядка десяти миллионов векторов, полнота приближения превзошла общепринятый минимальный порог производственных систем, восстановление индекса из дискового кэша заметно сокращает время повторного запуска. Корректность реализации подтверждена автоматическими тестами на модульном, интеграционном и GPU-уровнях. Область применения охватывает корпоративные системы семантического поиска. Направления развития включают NCCL-агрегацию k-means и WHERE-фильтрацию внутри IVF-Flat.

The work develops a software system for semantic text search with an extended SQL interface and in-engine embedding generation. The system combines exact GPU search by brute-force scan with an approximate GPU index of IVF-Flat type, and supports execution on one or several GPUs. Search is performed by cosine similarity over L2-normalized vectors. The exact path runs as a full scan on CUDA, while the approximate path uses an IVF-Flat index that activates automatically by the size of the base table. Embeddings are produced by the EmbeddingGemma-300M model with Matryoshka truncation of the output. The target requirements are stated through three independent parameters: query latency, recall of the approximate index, and node capacity. Benchmarks were performed on a cluster node with Tesla V100 graphics processors. Submillisecond response time of the approximate search was obtained on a base of order ten million vectors, the recall of the approximate index exceeded the commonly accepted minimal threshold of production systems, and index restoration from a cached snapshot noticeably shortens the time of repeated startup. Correctness of the implementation was confirmed by automated tests at the unit, integration, and GPU levels. The application domain covers corporate semantic search systems. Further directions include NCCL-based aggregation of k-means training and WHERE-clause filtering inside IVF-Flat.