Discrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational Science2658-46702658-7149Peoples' Friendship University of Russia named after Patrice Lumumba (RUDN University)8535ArticlesСтатьиResearch ArticleASL Fingerspelling RecognitionРаспознавание жестов ручной азбуки ASLNahapetyanV EНагапетянВаагн ЭдвардовичInformation Technology DepartmentКафедра информационных технологийvahagnahapetyan@gmail.comPeoples’ Friendship University of RussiaРоссийский университет дружбы народов150220132NO2 (2013)№2 (2013)10511308092016Copyright ©; 2013, Нагапетян В.Э.2013Нагапетян В.Э.http://creativecommons.org/licenses/by/4.0https://journals.rudn.ru/miph/article/view/8535A method is proposed and software is developed for automatic recognition of gestures used in ASL fingerspelling. Static gestures are captured using the new generation 3D sensor Asus Xtion Pro Live. Gesture recognition is achieved by extracting and further comparing the normalized geometric skeletons of the hand. Hand skeletons are compared using Dynamic Time Warping algorithm, which has polynomial complexity.Предложен метод и разработана программная система автоматического распознавания жестов ручной азбуки глухонемых ASL (American Sign Language). В качестве устройства ввода информации о статических жестах, отображающих цифры и латинские буквы, выступает трёхмерный сенсор нового поколения Asus Xtion Pro Live. Распознавание жестов осуществляется посредством извлечения, предварительной обработки и последующего сравнения нормализованных геометрических скелетов руки на основе анализа дальностных изображений, формируемых сенсором. Сравнение скелетов осуществляется на основе алгоритма динамической трансформации шкалы времени (Dynamic Time Warping, DTW), имеющего полиномиальную сложность.ASLDTWgesture recognitionASLDTWdepth imageраспознавание жестовдальностное изображение1.Pugeault N., Bowden R. Spelling It Out: Real–Time ASL Fingerspelling Recognition // Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. — Barcelona, Spain: IEEE, 2011. — P. 1114 – 1119.2.Isaacs J., Foo S. Hand Pose Estimation for American Sign Language Recognition // System Theory, 2004. Proceedings of the Thirty-Sixth Southeastern Symposium on. — IEEE, 2004. — Pp. 132–136.3.Зайцева Г.Л. Жестовая речь. Дактилология: Учеб. для студ. высш. учеб. заведений. — М.: ВЛАДОС, 2000. — 192 с.4.Hand Tracking and Gesture Recognition for Human-Computer Interaction / C. Manresa, J. Varona, R. Mas, F. Perales // ELCVIA. — 2005. — No 5(3). — Pp. 96–104.5.Flutter - Play and Pause Your Music and Movies with a Gesture. — https:// flutterapp.com/. — Accessed: 10/01/2013. Accessed: 10/01/2013.6.Gesture Recognition with a Time-of-Flight Camera / E. Kollorz, J. Penne, J. Hornegger, A. Barke // IJISTA. — 2008. — Vol. 5, issue 3/4. — Pp. 334–343.7.Breuer P., Eckes C., M.uller S. Hand Gesture Recognition with a Novel IR Time-of-Flight Range Camera: a Pilot Study // Proceedings of the 3rd International Conference on Computer Vision / Computer Graphics Collaboration Techniques. — MIRAGE’07. — Berlin, Heidelberg: Springer-Verlag, 2007. — Pp. 247–260.8.Kevin N.Y.Y., Ranganath S., Ghosh D. Trajectory Modeling in Gesture Recognition using Cybergloves Reg; and Magnetic Trackers // TENCON 2004. 2004 IEEE Region 10 Conference. — Vol. A. — 2004. — Pp. 571–574.9.Ji-Hwan K., Nguyen D. T., Tae-Seong K. 3-D Hand Motion Tracking and Gesture Recognition using a Data Glove // Industrial Electronics, 2009. ISIE 2009. IEEE International Symposium on. — 2009. — Pp. 1013–1018.10.Li Y. Hand gesture recognition using Kinect // Software Engineering and Service Science (ICSESS), 2012 IEEE 3rd International Conference on. — 2012. — Pp. 196–199.11.Leap Motion. — https://leapmotion.com. — Accessed: 10/01/2013. Accessed: 10/01/2013.12.Edge3. — http://edge3technologies.com. — Accessed: 10/01/2013. Accessed: 10/01/2013.13.Asus Xtion Pro Live. — http://www.asus.com/Multimedia/Motion_Sensor/ Xtion_PRO_LIVE/. — Accessed: 10/01/2013. Accessed: 10/01/2013.14.Hecker Y., Bolle R. On Geometric Hashing and the Generalized Hough Transform // Systems, Man and Cybernetics, IEEE Transactions on. — 1994. — Vol. 24, No 9. — Pp. 1328–1338.15.Lamdan Y., Schwartz J., Wolfson H. Affine Invariant Model-Based Object Recognition // Robotics and Automation, IEEE Transactions on. — 1990. — Vol. 6, No 5. — Pp. 578–589.16.Topology Matching for Fully Automatic Similarity Estimation of 3D shapes / M. Hilaga, Y. Shinagawa, T. Kohmura, T. L. Kunii // Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. — SIGGRAPH ’01. — New York, NY, USA: ACM, 2001. — Pp. 203–212.17.Bunke H., Shearer K. A Graph Distance Metric Based on the Maximal Common Subgraph // Pattern Recogn. Lett. — 1998. — Vol. 19, No 3-4. — Pp. 255–259.18.Brennecke A., Isenberg T. 3d shape matching using skeleton graphs // In Simulation and Visualization. — 2004. — Pp. 299–310.19.Shape-Based Hand Recognition / E. Yoruk, E. Konukoglu, B. Sankur, J. Darbon // Image Processing, IEEE Transactions on. — 2006. — Vol. 15, No 7. — Pp. 1803– 1815.20.Depth-Supported Real-Time Video Segmentation with the Kinect / A. Abramov, K. Pauwels, J. Papon et al. // Applications of Computer Vision (WACV), 2012 IEEE Workshop on. — 2012. — Pp. 457–464.21.Нагапетян В.Э. Обнаружение пальцев руки в дальностных изображениях // Искусственный интеллект и принятие решений. — 2012. — № 1. — С. 90–95.22.Местецкий Л.М. Непрерывная морфология бинарных изображений: фигуры, скелеты, циркуляры. — М.: ФИЗМАТЛИТ, 2009. — 288 с.