Details

Данная работа является частью проекта «Мобильное взаимодействие человека и компьютера для эксплуатации автоматически управляемым транспортным средством» в Институте Интегрированного Производства в Ганновере. Рассмотрены современные методы распознавания объектов и наиболее подходящие были выбраны для обучения: Faster R-CNN, SSD и YOLOv3. Был создан набор данных поддонов и обучены модели распознавания объектов. По результатам обучения благодаря своим характеристикам модель YOLOv3 Tiny была выбрана в качестве основы для приложения для распознавания поддонов с помощью умных очков. Рассмотрен процесс разработки программы и разработан ее алгоритм. Оценка программы была проведена путем выполнения ряда различных экспериментов, включая изменение расстояния, наклона, поворота и коэффициента перекрытия, а также обнаружение нескольких поддонов. В результате выполнения работы была разработана программа, которая выполняет обнаружение поддонов с использованием входящего видеопотока из Microsoft HoloLens в режиме реального времени и выводит эти обнаружения для человека-оператора и других модулей в проекте.

This thesis is a part of a “Mobile Human-Computer Interaction For Commissioning And Controlling Of Automated Guided Vehicles” project at the Institut für Integrierte Produktion Hannover. State of the art methods of object recognition are considered and the most suitable ones are chosen to train: Faster R- CNN, SSD and YOLOv3. A dataset of conveying aids was created and object detected models were trained. According to training results YOLOv3 Tiny model was chosen due to its characteristics as a baseline of the application for recognition of conveying aids by the means of smart glasses. The process of development of the program was considered and its algorithm was developed. Evaluation of the program was done by performing a number of various experiments including distance, incline, rotation and overlapping ratio variation as well as multiple pallets detections. As a result of the thesis the program was developed that performs a pallets’ detection using input video-stream from Microsoft HoloLens in real-time, and outputs these detections for human operator and further modules in the project.