Details

Предметом работы является распознавание рукописных математических формул по онлайн-траектории пера, адаптация модели к индивидуальному почер­ку и идентификация автора. Цель состоит в создании программного комплекса, который распознает формулы в формате InkML и подстраивается под конкрет­ного пользователя. Реализованы CNN, трансформерный кодировщик и CTC; для адаптации к почерку применен метод LoRA. Создано настольное приложение на Python; эксперименты проведены на MathWriting, CROHME и локальных данных трех писателей. На тесте MathWriting ( = 7638): CER 0,137, EM 0,314; без ΔCER 0,411; на CROHME без дообучения CER составляет 0,671. LoRA на кон­троле снижает CER на 0,089–0,343 ( = 20); на = 40 эффект значим у всех писателей ( < 0,05). Идентификация трех писателей достигает 95,83% при = 1 (перцептрон на признаках кодировщика). Персонализация оценена с разделением обучающей, валидационной и контрольной выборок; сбор данных, дообучение LoRA и проверка качества воспроизводятся в настольном приложении. Комплекс применим в учебных и исследовательских задачах сбора InkML и оценки адаптации к почерку.

The subject of this work is the recognition of handwritten mathematical formulas from online pen trajectories, together with model adaptation to individual handwriting and writer identification. The goal is to build a software system that recognizes formulas in the InkML format and adapts to a specific user. The architecture combines a CNN, a Transformer encoder, and CTC; LoRA is used for handwriting adaptation. A Python desktop application was implemented, and experiments were carried out onMathWriting, CROHME, and local data from three writers. On the MathWriting test set ( = 7638), CER is 0.137 and EM is 0.314; without the Δ feature, CER rises to 0.411; on CROHME without fine-tuning, CER is 0.671. On held-out data LoRA reduces CER by 0.089–0.343 ( = 20); on the extended holdout ( = 40) the effect is significant for all three writers ( < 0.05).Writer identification reaches 95.83% top-1 accuracy (a perceptron on encoder features). Personalization was evaluated with separate training, validation, and test splits, without hyperparameter tuning on the test set; data collection, LoRA fine-tuning, and evaluation are reproducible in the desktop application without a command-line interface. The system is applicable to educational and research tasks of InkML collection and evaluation of handwriting adaptation.