Discrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational Science2658-46702658-7149Peoples' Friendship University of Russia named after Patrice Lumumba (RUDN University)8356ArticlesСтатьиResearch ArticleContactless Control of Robotic Arm Through Human GesturesБесконтактное управление роботизированной рукой посредством жестов человекаNahapetyanV EНагапетянВаагн ЭдвардовичInformation Technology DepartmentКафедра информационных технологийvahagnahapetyan@gmail.comTolmachevI LТолмачёвИгорь ЛеонидовичInformation Technology DepartmentКафедра информационных технологийtolmachevil@mail.ruPeoples’ Friendship University of RussiaРоссийский университет дружбы народов150220142NO2 (2014)№2 (2014)15716308092016Copyright ©; 2014, Нагапетян В.Э., Толмачёв И.Л.2014Нагапетян В.Э., Толмачёв И.Л.http://creativecommons.org/licenses/by/4.0https://journals.rudn.ru/miph/article/view/8356In this paper the problem of contactless control of robotic arm through human hand gestures is considered. A new method is proposed, which allows to recognize and track the positions of palm and fingertips of human hand in real time and on the basis of these data to implement the control of the wrist and three fingers of the robotic hand. As an input device for capturing hand gestures a depth sensor is used, which works on the principals of triangulation and structured light. Hand gesture recognition is performed by the gradual procession of each video frame, which represents depth images. In the first phase the position of a random point of the palm is detected. In the second phase hand image is extracted using the detected point of the palm. The positions of the fingertips and the lengths of the fingertips are calculated through the analysis of distances between hand contour points and the random point of the wrist. The tracking of the fingertips is achieved through the usage of k-nearest neighbor’s algorithm. The recognized point of the palm is used to control the wrist of the robotic arm in three-dimensional space. The positions of human hand fingertips and lengths of fingers are used to control the fingers of the robotic arm. The proposed method is tested on the computer model of a robotic arm.В работе рассмотрена задача бесконтактного управления роботизированной рукой посредством жестов руки человека. Предлагается новый метод, позволяющий в реальном времени распознавать и отслеживать позиции ладони и кончиков пальцев руки человека и на основе этих данных осуществить управления кистью и тремя пальцами роботизированной руки. В качестве устройства ввода информации о жестах руки используется трёхмерный сенсор, работающий на принципах триангуляции и структурированного света. Распознавание жестов руки осуществляется посредством поэтапной обработки каждого кадра видеоряда, которые представляют собой дальностные изображения. На первом этапе распознаётся позиция произвольной точки ладони руки. На втором этапе извлекается изображение руки по распознанной позиции ладони. Позиции кончиков пальцев и длины пальцев руки вычисляются посредством анализа расстояний между точками контура фигуры руки и произвольной точкой кисти руки. Отслеживание кончиков пальцев осуществляется посредством алгоритма k ближайших соседей. Распознанная позиция ладони руки человека используется для перемещения кисти роботизированной руки в трёхмерном пространстве. Позиции кончиков пальцев руки человека и их длины используется для управления пальцами роботизированной руки. Предложенный метод апробирован на компьютерной модели роботизированной руки.gesture recognitionrobotic armimage processingdepth imagerobot controlраспознавание жестовроботизированная рукаобработка изображенийдальностное изображениеуправление роботом1.A Wearable Robotic Arm with High Force-Reflection Capability / Y. Jeong, D. Lee, K. Kim, J. Park // Robot and Human Interactive Communication, 2000. RO-MAN 2000. Proceedings. 9th IEEE International Workshop on. - 2000. - Pp. 411-416.2.Zhang J., Fang J. Research of Mechanical Arm Control Based on Data Glove // Information Science and Engineering, 2008. ISISE’08. International Symposium on. - Vol. 1. - 2008. - Pp. 188-191.3.Ma B., Xu W., Wang S. A Robot Control System Based on Gesture Recognition Using Kinect // TELKOMNIKA Indonesian Journal of Electrical Engineering. - 2013. - Vol. 11, No 5. - Pp. 2605-2611. - http://iaesjournal.com/online/ index.php/TELKOMNIKA/article/view/2493.4.Real-Time Robotic Hand Control Using Hand Gestures / J. L. Raheja, R. Shyam, U. Kumar, P. B. Prasad // Machine Learning and Computing (ICMLC), 2010 Second International Conference on. - 2010. - Pp. 12-16.5.Hoshino K. Vision-Controlled Robot Using Hand Pose Estimation without Marker Loading Requirement // Applied Mechanics and Materials. - 2012. - Vol. 162. - Pp. 358-367.6.Quigley M., Asbeck A., Ng A. A Low-Cost Compliant 7-DOF Robotic Manipulator // Robotics and Automation (ICRA), 2011 IEEE International Conference on. - 2011. - Pp. 6051-6058.7.Nahapetyan V. E. Human-Computer Multi-Touch Interaction using Depth Sensors // Interactive Systems: Problems of Human - Computer Interaction. - USTU, 2013. - Pp. 225-232.