Распознавание жестов ручной азбуки ASL

Обложка

Цитировать

Полный текст

Аннотация

Предложен метод и разработана программная система автоматического распознавания жестов ручной азбуки глухонемых ASL (American Sign Language). В качестве устройства ввода информации о статических жестах, отображающих цифры и латинские буквы, выступает трёхмерный сенсор нового поколения Asus Xtion Pro Live. Распознавание жестов осуществляется посредством извлечения, предварительной обработки и последующего сравнения нормализованных геометрических скелетов руки на основе анализа дальностных изображений, формируемых сенсором. Сравнение скелетов осуществляется на основе алгоритма динамической трансформации шкалы времени (Dynamic Time Warping, DTW), имеющего полиномиальную сложность.

Об авторах

Ваагн Эдвардович Нагапетян

Российский университет дружбы народов

Email: vahagnahapetyan@gmail.com
Кафедра информационных технологий

Список литературы

  2. Pugeault N., Bowden R. Spelling It Out: Real–Time ASL Fingerspelling Recognition // Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. — Barcelona, Spain: IEEE, 2011. — P. 1114 – 1119.
  3. Isaacs J., Foo S. Hand Pose Estimation for American Sign Language Recognition // System Theory, 2004. Proceedings of the Thirty-Sixth Southeastern Symposium on. — IEEE, 2004. — Pp. 132–136.
  4. Зайцева Г.Л. Жестовая речь. Дактилология: Учеб. для студ. высш. учеб. заведений. — М.: ВЛАДОС, 2000. — 192 с.
  5. Hand Tracking and Gesture Recognition for Human-Computer Interaction / C. Manresa, J. Varona, R. Mas, F. Perales // ELCVIA. — 2005. — No 5(3). — Pp. 96–104.
  6. Flutter - Play and Pause Your Music and Movies with a Gesture. — https:// flutterapp.com/. — Accessed: 10/01/2013. Accessed: 10/01/2013.
  7. Gesture Recognition with a Time-of-Flight Camera / E. Kollorz, J. Penne, J. Hornegger, A. Barke // IJISTA. — 2008. — Vol. 5, issue 3/4. — Pp. 334–343.
  8. Breuer P., Eckes C., M.uller S. Hand Gesture Recognition with a Novel IR Time-of-Flight Range Camera: a Pilot Study // Proceedings of the 3rd International Conference on Computer Vision / Computer Graphics Collaboration Techniques. — MIRAGE’07. — Berlin, Heidelberg: Springer-Verlag, 2007. — Pp. 247–260.
  9. Kevin N.Y.Y., Ranganath S., Ghosh D. Trajectory Modeling in Gesture Recognition using Cybergloves Reg; and Magnetic Trackers // TENCON 2004. 2004 IEEE Region 10 Conference. — Vol. A. — 2004. — Pp. 571–574.
  10. Ji-Hwan K., Nguyen D. T., Tae-Seong K. 3-D Hand Motion Tracking and Gesture Recognition using a Data Glove // Industrial Electronics, 2009. ISIE 2009. IEEE International Symposium on. — 2009. — Pp. 1013–1018.
  11. Li Y. Hand gesture recognition using Kinect // Software Engineering and Service Science (ICSESS), 2012 IEEE 3rd International Conference on. — 2012. — Pp. 196–199.
  12. Leap Motion. — https://leapmotion.com. — Accessed: 10/01/2013. Accessed: 10/01/2013.
  13. Edge3. — http://edge3technologies.com. — Accessed: 10/01/2013. Accessed: 10/01/2013.
  14. Asus Xtion Pro Live. — http://www.asus.com/Multimedia/Motion_Sensor/ Xtion_PRO_LIVE/. — Accessed: 10/01/2013. Accessed: 10/01/2013.
  15. Hecker Y., Bolle R. On Geometric Hashing and the Generalized Hough Transform // Systems, Man and Cybernetics, IEEE Transactions on. — 1994. — Vol. 24, No 9. — Pp. 1328–1338.
  16. Lamdan Y., Schwartz J., Wolfson H. Affine Invariant Model-Based Object Recognition // Robotics and Automation, IEEE Transactions on. — 1990. — Vol. 6, No 5. — Pp. 578–589.
  17. Topology Matching for Fully Automatic Similarity Estimation of 3D shapes / M. Hilaga, Y. Shinagawa, T. Kohmura, T. L. Kunii // Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. — SIGGRAPH ’01. — New York, NY, USA: ACM, 2001. — Pp. 203–212.
  18. Bunke H., Shearer K. A Graph Distance Metric Based on the Maximal Common Subgraph // Pattern Recogn. Lett. — 1998. — Vol. 19, No 3-4. — Pp. 255–259.
  19. Brennecke A., Isenberg T. 3d shape matching using skeleton graphs // In Simulation and Visualization. — 2004. — Pp. 299–310.
  20. Shape-Based Hand Recognition / E. Yoruk, E. Konukoglu, B. Sankur, J. Darbon // Image Processing, IEEE Transactions on. — 2006. — Vol. 15, No 7. — Pp. 1803– 1815.
  21. Depth-Supported Real-Time Video Segmentation with the Kinect / A. Abramov, K. Pauwels, J. Papon et al. // Applications of Computer Vision (WACV), 2012 IEEE Workshop on. — 2012. — Pp. 457–464.
  22. Нагапетян В.Э. Обнаружение пальцев руки в дальностных изображениях // Искусственный интеллект и принятие решений. — 2012. — № 1. — С. 90–95.
  23. Местецкий Л.М. Непрерывная морфология бинарных изображений: фигуры, скелеты, циркуляры. — М.: ФИЗМАТЛИТ, 2009. — 288 с.

© Нагапетян В.Э., 2013

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах