Whisper Hand

Abstract

Communication challenges faced by mute individuals in Arabic-speaking societies arise from the limited number of people who understand sign language. The ”Whisper Hand” project addresses this issue by developing an innovative system to translate Palestinian sign language into audible speech. The system utilizes a single smart glove equipped with five flex sensors to capture finger movements and an MPU-6050 motion tracking unit to detect hand orientation and acceleration. These sensors are connected to an ESP32 microcontroller, which processes the data using machine learning algorithms. To ensure real-time translation on the ESP32, the system uses a Convolutional Neural Network 1D (Conv1D) model due to its efficiency and low computational requirements. For more complex gesture recognition tasks on a computer, the system employs LSTM models. The processed data is then converted into speech through a DFPlayer module that plays pre-recorded audio responses, facilitating real-time and offline translation. The design prioritizes accuracy, ease of use, and portability, allowing mute individuals to seamlessly integrate the system into daily interactions. Major accomplishments include an extensive analysis of Palestinian sign language to define system requirements, the development of a single smart glove prototype, and the successful integration of both Conv1D and LSTM machine learning algorithms for gesture recognition. The system has been Carefully tested under various conditions to evaluate robustness and responsiveness. Essential hardware and software components have been Accurately selected to optimize performance and ensure reliable real time translation.

Key Words: Palestinian Sign Language, Smart Glove, Flex Sensors,conv1D, LSTM Algorithm.

يواجه الأفراد البكم في المجتمعات الناطقة بالعربية تحديات كبيرة في التواصل، نتيجة قلة الأشخاص الذين يفهمون لغة الإشارة. يهدف هذا المشروع إلى حل هذه المشكلة من خلال تصميم نظام مبتكر لتحويل لغة الإشارة الفلسطينية إلى كلام مسموع. يعتمد النظام على قفاز ذكي يحتوي على مستشعرات مرنة ووحدة قياس حركة متصلة بوحدة تحكم، يعمل القفاز على التقاط حركات اليد وترجمتها باستخدام خوارزميات تعلم الآلة إلى كلمات منطوقة عبر مكبر صوت صغير، وأيضاً تم القيام بمقارنة بين خوارزميات تعلم الآلة لتحديد الأكثر دقة من بينها والأكثر ملاءمة للمشروع، وهما خوارزميتا LSTM و Conv1D. تم تصميم النظام ليكون دقيقاً وسهل الاستخدام وخفيف الوزن، ما يجعله مناسباً للاستخدام اليومي من قبل الأفراد البكم لتسهيل تواصلهم مع المجتمع. يهدف المشروع إلى إثبات إمكانية توفير حل عملي وسهل الاستخدام يسد الفجوة في التواصل للأفراد البكم، مع تقديم توصيات لتحسين دقة التعرف على الإشارات وتوسيع مفردات النظام لتلبية احتياجات أوسع.

الكلمات المفتاحية: لغة الإشارة الفلسطينية، قفاز ذكي، أجهزة الاستشعار المرنة، خوارزمية LSTM و Conv1D.