Важнейшим этапом в задачах диагностики и прогнозирования функционального состояния и профессиональной надежности операторов сложных человеко- машинных систем является корректный сбор и хранение диагностических данных. Авторы предлагают и описывают решение данной проблемы в виде разработанного стенда мультимодальной регистрации данных о состоянии человека. В предлагаемом решении применяются технические и программные средства для регистрации больших массивов данных трех видов: аудиоданных, видеоданных и физиологических данных, получаемых с датчиков полиграфа. Стенд производит первичные преобразования данных, что позволяет получить набор структурированных мультимодальных первичных показателей, выраженных в численном виде. В последующем полученный массив мультимодальных показателей используется для поиска закономерностей между ними с помощью нескольких библиотек и фреймворков машинного обучения.

The most important stage in problems of diagnostics and forecasting of functional state and professional reliability of operators of complex man-machine systems is the correct collection and storage of diagnostic data. The authors propose and describe the solution of this problem in the form of a developed complex of multimodal registration of data on human functional state. The proposed solution uses technical and software tools to register large data sets of three types: audio, video and physiological data obtained from polygraph sensors. The complex produces primary data transformations, which allows to get a set of structured multimodal primary indicators, expressed in numerical form. Subsequently, the resulting array of multimodal indicators is used to search for regularities between them with the use of several libraries and machine learning frameworks.

Машинное обучение в исследованиях медико-биологических и социально-экономических данных: сборник научных трудов / Санкт-Петербургский политехнический университет Петра Великого; под редакцией К. А. Найденовой [и др.]. — Санкт-Петербург: ПОЛИТЕХ-ПРЕСС, 2020 (Санкт-Петербург, 2020). — 1 файл (12,3 Мб). — Загл. с титул. экрана. — Содерж. и рез. на англ. яз. — Электронная копия печатной публикации 2020 г. — Доступ по паролю из сети Интернет (чтение, печать). — <URL:http://elib.spbstu.ru/dl/2/id20-58.pdf>. — DOI 10.18720/SPBPU/2/id20-58. — Текст: электронный