Details
Title | Методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических системах: научный доклад: направление подготовки 09.06.01 «Информатика и вычислительная техника» ; направленность 09.06.01_02 «Системный анализ, управление и обработка информации (по отраслям)» |
---|---|
Creators | Баскаков Дмитрий Евгеньевич |
Scientific adviser | Арсеньев Дмитрий Германович |
Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий |
Imprint | Санкт-Петербург, 2022 |
Collection | Научные работы аспирантов/докторантов; Общая коллекция |
Subjects | Технические системы — Управление; Искусственный интеллект; Принятие решений; экологическая безопасность; киберфизические системы; машинное обучение; environmental safety; cyber-physical systems; machine learning |
UDC | 681.5; 004.8; 519.816 |
Document type | Scientific report |
File type | Other |
Language | Russian |
Level of education | Graduate student |
Speciality code (FGOS) | 09.06.01 |
Speciality group (FGOS) | 090000 - Информатика и вычислительная техника |
Rights | Текст не доступен в соответствии с распоряжением СПбПУ от 11.04.2018 № 141 |
Record key | ru\spstu\vkr\17954 |
Record create date | 11/2/2022 |
Актуальность темы исследования. На текущий момент в России развивается несколько крупных транспортных проектов федерального масштаба. Одной из ключевых задач является проект освоения Северного Морского Пути (СМП)—кратчайший морской путь между Европейской частью России и Дальним Востоком. В планах экономического развития—навигационное и логистическое оснащение СМП, грузопоток по которому согласно указу Президента РФ должен составить к 2024 году около 80 млн тонн. Важно понимать, что активное развитие СМП создает не только новые возможности и вызовы для России, но и дополнительно генерирует и новые риски как геополитические, так и природные. Существенным фактором успешного долгосрочного развития СМП является стратегия снижения антропогенной нагрузки на окружающую среду Арктики, обеспечение которой возможно лишь при создании системы комплексной экологической защиты и интеллектуального мониторинга. Интеллектуальная система управления экологической безопасностью (ИСЭБ) СМП в дальнейшем должна стать основой создания Комплексной системы экологической безопасности перспективной интеллектуальной мультимодальной транспортной системы Арктической зоны Российской Федерации Данная интеллектуальная система управления экологической безопасностью должна включать в себя как традиционные проекты и модели комплексного промышленного экологического мониторинга, так и новые разработанные методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических системах. Технология построения ИСЭБ для СМП предполагает использование тотального встраивания во все важные элементы системы датчиков и интеллектуальных исполнительных устройств. При этом информационно-коммуникационная сеть ИСЭБ будет являться интерфейсом и платформой сбора и первичной обработки данных в режиме реального времени. Собранные данные, предполагается, после первичной обработки будут храниться в специальных базах данных на крупных транспортно-логистических узлах. Действующая сеть государственного экологического мониторинга признана Правительством РФ неэффективной, так как она не позволяет Федеральным органам исполнительной власти оперативно реагировать на экологические происшествия, предотвращать экологические катастрофы и предсказывать некие возможные проблемные ситуации в будущем. Поэтому и принято решение о создании комплексной информационной системы мониторинга состояния окружающей среды. Первые элементы данной системы планируются к внедрению уже в 2024 году с дальнейшей модернизацией системы до 2030 года. На этапе ввода системы в эксплуатацию должны быть реализованы в том числе и интеллектуальные алгоритмы принятия решений на основе следующих видов аналитики: 1. Дескриптивная в части интеллектуального анализа данных экологического мониторинга. Что случилось? 2. Диагностическая аналитика для анализа причин произошедшего. 3. Предиктивная аналитика для целей прогнозирования экологической обстановки с применением перспективных моделей оценки качества экологической среды. 4. Предписывающая аналитика, которая с применением интеллектуальных алгоритмов позволит нам впредь исключать возможные экологические проблемы в будущем. Таким образом, исследование методов и алгоритмов интеллектуальной поддержки при принятии управленческих решений в технических системах экологического мониторинга становится крайне актуальной и своевременной задачей в соответствии со стратегий развития Северного морского пути. Степень разработанности темы исследования на текущий момент не очень высокая. Работы посвящены в основном алгоритмам и данным, но никак не теории создания и управления интеллектуальными системами экологической безопасности. Объектом исследования в работе являются интеллектуальные распределенные киберфизические системы мониторинга и управления экологической безопасностью, которые эксплуатируются в особых условиях Крайнего Севера РФ. Предметом исследования являются методы мониторинга и управления экологической безопасностью, включая методы интеллектуального адаптивного управления на основе машинного обучения. Цель исследования состоит в снижении рисков и стоимости создания интеллектуальных систем управления экологической безопасностью; разработка новых методов, моделей и алгоритмов принятия управленческих решений на основе машинного обучения; выявление перспективных направлений в области проектирования таких систем; разработка методологической основы проектирования таких систем и доказательство их эффективности. Для достижения данных целей в диссертации решаются следующие задачи: 1. Производится анализ современных киберфизических систем мониторинга и управления 2. Исследуются современные методов и практики создания интеллектуальных систем экологического мониторинга и управления. 3. Исследуются методы и алгоритмы машинного обучения, которые могут быть использованы при создании интеллектуальных систем экологического мониторинга и управления. 4. Исследуются метрики качества и надежности интеллектуальных систем управления экологической безопасностью. 5. Разрабатываются новые методы, подходы и архитектуры интеллектуальных систем управления экологической безопасностью с применением практик машинного обучения. Значимым практическим результатом работы является использование предложенных методов и алгоритмов при проектировании перспективной интеллектуальной системы управления экологической безопасностью Северного морского пути (СМП), которая в дальнейшем будет интегрирована в мультимодальный транспортный коридор РФ. Научная новизна результатов состоит в разработке теоретических основ построения интеллектуальных сетей мониторинга и управления экологической безопасностью мультимодальных транспортных систем на пример интеллектуальной системы управления экологической безопасностью Северного морского пути РФ. В рамках проведенного исследования достигнуты следующие результаты: 1. Разработаны основные методы и принципы построения распределенных интеллектуальных систем управления экологической безопасностью в особых климатических условиях Севера. 2. Разработана математическая модель учета антропогенных и климатических факторов, которые оказывают всестороннее воздействие на эксплуатацию интеллектуальных систем управления экологической безопасностью в особых климатических условиях Севера. 3. Сформулированы условия и метрики эксплуатации интеллектуальных систем управления экологической безопасностью, основанные на решении задачи выбора оптимального управления в зависимости от целевой функции и ограничений в виде равенств и неравенств. 4. Разработаны методы и алгоритмы машинного обучения, которые применяются при принятии управленческих решений в ИСЭБ. 5. Разработана система критериев анализа эффективности эксплуатации ИСЭБ. 6. Разработана метамодель перспективной распределенной интеллектуальной системы управления экологической безопасностью Северного морского пути. 7. Разработан метод интеллектуального управления ИСЭБ в виде программы для ЭВМ. Теоретическая значимость работы заключается в создании нового системного подхода к созданию и управлению интеллектуальными системами управления экологической безопасностью, основанного на принципах распределенности и иерархической связанности. В рамках созданного подхода разработаны: 1. Методы и алгоритмы поддержки принятия управленческий решений интеллектуальной системой управления экологической безопасностью. 2. Методы обработки, агрегации и управления данными экологического мониторинга. 3. Методы интеллектуального и визуального анализа экологических данных на основе машинного обучения. 4. Перспективные архитектуры построения интеллектуальных систем управления экологической безопасностью. Практическая значимость работы определяется возможностью использования разработанных методов и моделей для построения интеллектуальной системы управления экологической безопасностью для Северного морского пути РФ. Результаты работы позволяют: 1. Обеспечить полноту решения при проектировании интеллектуальных систем управления экологической безопасностью в особых климатических условиях Крайнего Севера РФ. 2. Формулировать строгие критерии и метрики оценки функционирования систем экологической безопасности. 3. Снизить время на проектирование и развертывание интеллектуальной системы управления экологической безопасностью. 4. Обеспечить оперативное решение задач интеллектуальной поддержки при принятии управленческих решений в интеллектуальной системе управления экологической безопасностью. Методы исследования. Для решения поставленных задач в диссертационной работе используются теоретические и эмпирические. В качестве общенаучных теоретических методов применялся метод формализации путем отображения и систематизации существующих структур и методов в виде рисунков, формул и схем. Также широко применялся метод идеализации для роста абстракции исследуемых систем и исключения избыточных свойств и систем. Методы индукции и дедукции использовались для выводов в процессе исследования и заключений частного характера в процессе теоретических и практических изысканий, а анализ и синтез являлся основой всех теоретических изысканий и заключений. В качестве эмпирических методов применяется метод моделирования и аналогии для описания происходящих процессов, метод сравнения и измерения использовался для сравнения объектов по наиболее существенным признакам. Положения, выносимые на защиту: 1. Системный подход к адаптивному управлению распределенными киберфизическими системами экологической безопасности. 2. Методология и алгоритмы поддержки принятия решений в интеллектуальных системах управления экологической безопасностью. 3. Метамодель распределенной интеллектуальной системы управления экологической безопасностью Северного морского пути на основе заданных критериев и метрик. 4. Метод управления распределенной киберфизической интеллектуальной системой экологической безопасности Северного морского пути. Соответствие специальности научных работников. Научные результаты соответствуют паспорту специальности 2.13.1 «Системный анализ, управление и обработка информации»: Разработка проблемно-ориентированных систем управления, принятия решений и оптимизации технических, организационно-технических и информационных систем (п.13); методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических, организационно-технических и информационных системах (п.15); разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации (п.16); методы и алгоритмы прогнозирования и оценки эффективности, качества и надежности сложных технических, организационно-технических и информационных систем (п.17); методы визуализации, трансформации и анализа информации (п. 19); Степень достоверности результатов исследования подтверждается строгим теоретическим обоснованием предлагаемого аналитического аппарата, эффективностью его использования при практическом воплощении и результатами экспериментальных исследований. Внедрение результатов работы планируется осуществить в Институте проблем транспорта им. Н. С. Соломенко РАН. Практические результаты исследований стали важной частью проекта по созданию интеллектуальной системы управления экологической безопасностью Северного морского пути РФ. Апробация работы происходила на следующих конференциях и научных мероприятиях: 1. 11-я Российская мультиконференция по проблемам управления. Конференции «Информационные технологии в управлении» ( ИТУ-2018). 2. International Conference on Cyberphysical systems & control (CPS&C–2019), 10-12 June 2019, St. Petersburg, Russia. 3. International Scientific Conference "Telecommunications, Computing and Control ("TELECCON-2019). 4. Computational Science and Its Applications - ICCSA 2019. 19th International Conference, Saint Petersburg, Russia, July 1–4, 2019. 5. Конференция «информационные технологии в управлении» (ИТУ-2020). 6. Конференция «Математическая теория управления и ее приложения» (МТУиП-2020). 7. Computational Science and Its Applications – ICCSA 2021. 21th International Conference,Cagliari, Italy. 8. 2nd International Conference Cyber-Physical Systems and Control, St.Petersburg,Russia, 2021. Публикации По теме диссертации опубликовано 11 работ, в том числе 3 из них в журналах списка, рекомендованных ВАК, и 8, входящих в международные реферативные системы цитирования и базы данных Scopus и Web of Science. 1. Контрактные сетевые протоколы взаимодействия когнитивных агентов в распределенных интеллектуальных системах управления. Арсеньев Д. Г., Баскаков Д. Е., Шкодырев В. П. Санкт-Петербург : СПб.: АО «Концерн «ЦНИИ «Электроприбор», 2018. 11-я РОССИЙСКАЯ МУЛЬТИКОНФЕРЕНЦИЯ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ. Т. МАТЕРИАЛЫ КОНФЕРЕНЦИИ «ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В УПРАВЛЕНИИ» ( ИТУ-2018), стр. 628. 2. Deep Predictive Control. Baskakov, Dmitry. Saint-Petersburg : б.н., 2019. International Scientific Conference "Telecommunications, Computing and Control ("TELECCON-2019). 3. Distributed Ledger Technology and Cyber-Physical Systems.Multi-agent Systems. Concepts and Trends. Dmitry Arsenjev, Dmitry Baskakov, and Vyacheslav Shkodyrev. б.м. : Springer, 2019. Computational Science and Its Applications - ICCSA 2019. Т. 19th International Conference, Saint Petersburg, Russia, July 1–4, 2019 Proceedings, Part II, стр. 805. 4. Secure Machine Intelligence and Distributed Ledger. Dmitry Arseniev, Dmitry Baskakov, and Vyacheslav Shkodyrev. Cagliari, Italy : Springer, 2021. Computational Science and Its Applications – ICCSA 2021 . Т. Lecture Notes in Computer Science, 12951, стр. 749. 5. Graph Model Approach to Hierarchy Control Network. Dmitry G. Arseniev, Dmitry Baskakov, and Vyacheslav P. Shkodyrev. St. Petersburg, Russia : Springer, 2019. The International Conference on Cyber-Physical Systems and Control (CPS&C’2019). Т. Lecture Notes in Computer Science, 11620, стр. 778. 6. Интеллектуальные графовые модели обработки связанных данных. Д.Е. Баскаков, В.П. Шкодырев, Д.Г. Арсеньев. Санкт-Петербург : б.н., 2020. Конференция «Информационные технологии в управлении» (ИТУ-2020). 7. Иерархическая кластеризация: алгоритмы и результаты. Д.Г. Арсеньев, Д.Е. Баскаков, В.П. Шкодырев. Санкт-Петербург : б.н. КОНФЕРЕНЦИЯ «МАТЕМАТИЧЕСКАЯ ТЕОРИЯ УПРАВЛЕНИЯ И ЕЕ ПРИЛОЖЕНИЯ» (МТУиП-2020). 8. Mutation Testing of Software Quality on the System-Level. Dmitry Arseniev, Dmitry Baskakov, Jussi Kasurinen, Vyacheslav Shkodyrev, Alexey Mergasov. St.Petersburg : б.н., 2021. 2nd International Conference Cyber-Physical Systems and Control-CPS&C’2021. 9. Software Engineering Principles Apply to Artificial Intelligence Systems. Dmitry Arseniev, Dmitry Baskakov, Jussi Kasurinen, Vyacheslav Shkodyrev. St.Petersburg, Russia : б.н., 2021. 2nd International Conference Cyber-Physical Systems and Control - CPS&C’2021. 11. Robust models of distance metric learning by interval-valued training data . Lev Utkin, Andrei Konstantinov, Dmitry Baskakov, Vladimir Muliukha, Natalia Politaeva. St.Petersburg,Russia : б.н., 2021. 2nd International Conference Cyber-Physical Systems and Control.
Relevance of the research topic. At the moment, several large transport projects of a federal scale are being developed in Russia. One of the key tasks is the development of the Northern Sea Route (NSR), the shortest sea route between the European part of Russia and the Far East. The plans for economic development include navigation and logistics equipment for the NSR, the cargo flow through which, according to the decree of the President of the Russian Federation, should reach about 80 million tons by 2024. It is important to understand that the active development of the NSR creates not only new opportunities and challenges for Russia, but also additionally generates new risks, both geopolitical and natural. An essential factor in the successful long-term development of the NSR is the strategy to reduce the anthropogenic pressure on the Arctic environment, which can only be achieved through the creation of a system of integrated environmental protection and intelligent monitoring. The intelligent environmental safety management system (ISEB) of the NSR should in the future become the basis for the creation of an Integrated Environmental Safety System for a promising intelligent multimodal transport system in the Arctic zone of the Russian Federation This intelligent environmental safety management system should include both traditional projects and models of integrated industrial environmental monitoring, and new developed methods and algorithms for intelligent support in making managerial decisions in technical systems. The technology for building ISES for SMP involves the use of total embedding in all important elements of the system of sensors and intelligent actuators. At the same time, the ISEB information and communication network will be the interface and platform for collecting and primary data processing in real time. The collected data is supposed to be stored in special databases at large transport and logistics hubs after primary processing. The current network of state environmental monitoring is recognized by the Government of the Russian Federation as ineffective, since it does not allow the Federal executive authorities to quickly respond to environmental incidents, prevent environmental disasters and predict some possible problem situations in the future. Therefore, a decision was made to create an integrated information system for monitoring the state of the environment. The first elements of this system are planned for implementation as early as 2024 with further system upgrades until 2030. At the stage of putting the system into operation, intelligent decision-making algorithms based on the following types of analytics should be implemented, among other things: 1. Descriptive in terms of data mining of environmental monitoring. What happened? 2. Diagnostic analytics to analyze the causes of what happened. 3. Predictive analytics for the purposes of predicting the environmental situation using promising models for assessing the quality of the ecological environment. 4. Prescriptive analytics, which, using intelligent algorithms, will allow us to continue to exclude possible environmental problems in the future. Thus, the study of methods and algorithms of intellectual support in making managerial decisions in technical systems of environmental monitoring becomes an extremely relevant and timely task in accordance with the development strategies of the Northern Sea Route. The degree of development of the research topic at the moment is not very high. The works are mainly devoted to algorithms and data, but not to the theory of creating and managing intelligent systems for environmental safety. The object of research in the work is intelligent distributed cyber-physical systems for monitoring and managing environmental safety, which are operated in the special conditions of the Far North of the Russian Federation. The subject of the research is methods for monitoring and managing environmental safety, including methods of intelligent adaptive control based on machine learning. The purpose of the study is to reduce the risks and costs of creating intelligent environmental safety management systems; development of new methods, models and algorithms for making managerial decisions based on machine learning; identifying promising areas in the design of such systems; development of a methodological basis for the design of such systems and proof of their effectiveness. To achieve these goals, the following tasks are solved in the dissertation: 1. An analysis of modern cyber-physical monitoring and control systems is being carried out. 2. Modern methods and practices for creating intelligent systems for environmental monitoring and management are being explored. 3. The methods and algorithms of machine learning are investigated, which can be used to create intelligent systems for environmental monitoring and management. 4. The quality and reliability metrics of intelligent environmental safety management systems are studied. 5. New methods, approaches and architectures of intelligent environmental safety management systems are being developed using machine learning practices. A significant practical result of the work is the use of the proposed methods and algorithms in the design of a promising intelligent system for managing the environmental safety of the Northern Sea Route (NSR), which will be further integrated into the multimodal transport corridor of the Russian Federation. The scientific novelty of the results lies in the development of theoretical foundations for building intelligent networks for monitoring and managing the environmental safety of multimodal transport systems, using the example of an intelligent system for managing the environmental safety of the Northern Sea Route of the Russian Federation. As part of the study, the following results were achieved: 1. The main methods and principles for building distributed intelligent systems for managing environmental safety in the special climatic conditions of the North have been developed. 2. A mathematical model has been developed for taking into account anthropogenic and climatic factors that have a comprehensive impact on the operation of intelligent environmental safety management systems in the special climatic conditions of the North. 3. The conditions and metrics for the operation of intelligent environmental safety management systems are formulated, based on solving the problem of choosing the optimal control depending on the objective function and constraints in the form of equalities and inequalities. 4. Methods and algorithms of machine learning have been developed, which are used in making managerial decisions in ISES. 5. A system of criteria for analyzing the efficiency of ISES operation has been developed. 6. A metamodel of a promising distributed intelligent system for managing the environmental safety of the Northern Sea Route has been developed. 7. A method of intelligent control of ISEB in the form of a computer program has been developed. The theoretical significance of the work lies in the creation of a new systematic approach to the creation and management of intelligent systems for managing environmental safety, based on the principles of distribution and hierarchical connectivity. Within the framework of the created approach, the following were developed: 1. Methods and algorithms for supporting managerial decision-making by an intelligent environmental safety management system. 2. Methods of processing, aggregation and management of environmental monitoring data. 3. Methods for intellectual and visual analysis of environmental data based on machine learning. 4. Promising architectures for building intelligent environmental safety management systems. The practical significance of the work is determined by the possibility of using the developed methods and models to build an intelligent environmental safety management system for the Northern Sea Route of the Russian Federation. The results of the work allow: 1. Ensure the completeness of the solution when designing intelligent environmental safety management systems in the special climatic conditions of the Far North of the Russian Federation. 2. Formulate strict criteria and metrics for evaluating the functioning of environmental safety systems. 3. Reduce the time for designing and deploying an intelligent environmental safety management system. 4. To ensure the prompt solution of the tasks of intellectual support in making managerial decisions in the intellectual system of environmental safety management. Research methods. To solve the tasks set in the dissertation work, theoretical and empirical ones are used. As general scientific theoretical methods, the method of formalization was used by displaying and systematizing existing structures and methods in the form of drawings, formulas and diagrams. The idealization method was also widely used to increase the abstraction of the systems under study and to eliminate redundant properties and systems. The methods of induction and deduction were used for conclusions in the process of research and conclusions of a particular nature in the process of theoretical and practical research, and analysis and synthesis were the basis of all theoretical research and conclusions. As empirical methods, the method of modeling and analogy is used to describe the ongoing processes, the method of comparison and measurement was used to compare objects according to the most significant features. Provisions for defense: 1. System approach to adaptive control of distributed cyber-physical systems of ecological safety. 2. Methodology and algorithms for decision support in intelligent environmental safety management systems. 3. Metamodel of a distributed intelligent system for managing the environmental safety of the Northern Sea Route based on specified criteria and metrics. 4. Control method for a distributed cyber-physical intelligent system for the environmental safety of the Northern Sea Route. Compliance with the specialty of scientists. Scientific results correspond to the passport of the specialty 2.13.1 "System analysis, management and information processing": Development of problem-oriented systems for management, decision-making and optimization of technical, organizational, technical and information systems (p. 13); methods and algorithms of intellectual support in making managerial decisions in technical, organizational, technical and information systems (clause 15); development of special mathematical and algorithmic support for systems of analysis, optimization, control, decision-making and information processing (clause 16); methods and algorithms for forecasting and evaluating the effectiveness, quality and reliability of complex technical, organizational, technical and information systems (clause 17); methods of visualization, transformation and analysis of information (clause 19); The degree of reliability of the results of the study is confirmed by a rigorous theoretical justification of the proposed analytical apparatus, the effectiveness of its use in practical implementation and the results of experimental studies. The implementation of the results of the work is planned to be carried out at the Institute of Transport Problems. N. S. Solomenko RAS. The practical results of the research have become an important part of the project to create an intelligent system for managing the environmental safety of the Northern Sea Route of the Russian Federation. Approbation of the work took place at the following conferences and scientific events: 1. 11th Russian multi-conference on management problems. Conference "Information technologies in management" (ITU-2018). 2. International Conference on Cyberphysical systems & control (CPS&C–2019), 10-12 June 2019, St. Petersburg, Russia. 3. International Scientific Conference "Telecommunications, Computing and Control ("TELECCON-2019). 4. Computational Science and Its Applications - ICCSA 2019. 19th International Conference, Saint Petersburg, Russia, July 1–4, 2019. 5. Conference "Information Technologies in Management" (ITU-2020). 6. Conference "Mathematical Theory of Control and Its Applications" (MTUiP-2020). 7. Computational Science and Its Applications – ICCSA 2021. 21th International Conference, Cagliari, Italy. 8. 2nd International Conference Cyber-Physical Systems and Control, St.Petersburg, Russia, 2021. Publications 11 papers have been published on the topic of the dissertation, including 3 of them in the journals of the list recommended by the Higher Attestation Commission, and 8 included in the international abstract citation systems and the Scopus and Web of Science databases. 1. Контрактные сетевые протоколы взаимодействия когнитивных агентов в распределенных интеллектуальных системах управления. Арсеньев Д. Г., Баскаков Д. Е., Шкодырев В. П. Санкт-Петербург : СПб.: АО «Концерн «ЦНИИ «Электроприбор», 2018. 11-я РОССИЙСКАЯ МУЛЬТИКОНФЕРЕНЦИЯ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ. Т. МАТЕРИАЛЫ КОНФЕРЕНЦИИ «ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В УПРАВЛЕНИИ» ( ИТУ-2018), стр. 628. 2. Deep Predictive Control. Baskakov, Dmitry. Saint-Petersburg : б.н., 2019. International Scientific Conference "Telecommunications, Computing and Control ("TELECCON-2019). 3. Distributed Ledger Technology and Cyber-Physical Systems.Multi-agent Systems. Concepts and Trends. Dmitry Arsenjev, Dmitry Baskakov, and Vyacheslav Shkodyrev. б.м. : Springer, 2019. Computational Science and Its Applications - ICCSA 2019. Т. 19th International Conference, Saint Petersburg, Russia, July 1–4, 2019 Proceedings, Part II, стр. 805. 4. Secure Machine Intelligence and Distributed Ledger. Dmitry Arseniev, Dmitry Baskakov, and Vyacheslav Shkodyrev. Cagliari, Italy : Springer, 2021. Computational Science and Its Applications – ICCSA 2021 . Т. Lecture Notes in Computer Science, 12951, стр. 749. 5. Graph Model Approach to Hierarchy Control Network. Dmitry G. Arseniev, Dmitry Baskakov, and Vyacheslav P. Shkodyrev. St. Petersburg, Russia : Springer, 2019. The International Conference on Cyber-Physical Systems and Control (CPS&C’2019). Т. Lecture Notes in Computer Science, 11620, стр. 778. 6. Интеллектуальные графовые модели обработки связанных данных. Д.Е. Баскаков, В.П. Шкодырев, Д.Г. Арсеньев. Санкт-Петербург : б.н., 2020. КОНФЕРЕНЦИЯ «ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В УПРАВЛЕНИИ» (ИТУ-2020). 7. Иерархическая кластеризация: алгоритмы и результаты. Д.Г. Арсеньев, Д.Е. Баскаков, В.П. Шкодырев. Санкт-Петербург : б.н. КОНФЕРЕНЦИЯ «МАТЕМАТИЧЕСКАЯ ТЕОРИЯ УПРАВЛЕНИЯ И ЕЕ ПРИЛОЖЕНИЯ» (МТУиП-2020). 8. Mutation Testing of Software Quality on the System-Level. Dmitry Arseniev, Dmitry Baskakov, Jussi Kasurinen, Vyacheslav Shkodyrev, Alexey Mergasov. St.Petersburg : б.н., 2021. 2nd International Conference Cyber-Physical Systems and Control-CPS&C’2021. 9. Software Engineering Principles Apply to Artificial Intelligence Systems. Dmitry Arseniev, Dmitry Baskakov, Jussi Kasurinen, Vyacheslav Shkodyrev. St.Petersburg, Russia : б.н., 2021. 2nd International Conference Cyber-Physical Systems and Control - CPS&C’2021. 11. Robust models of distance metric learning by interval-valued training data . Lev Utkin, Andrei Konstantinov, Dmitry Baskakov, Vladimir Muliukha, Natalia Politaeva. St.Petersburg,Russia : б.н., 2021. 2nd International Conference Cyber-Physical Systems and Control.