Тренажёр дактильной азбуки «Перст» - это готовое робототехническое устройство на базе Raspberry PI и esp32, способное распознавать русскую дактильную азбуку по жестам руки и проверять знания в форме теста.

Для детекции руки используется фреймворк MediaPipe на базе TensorFlow. Для подготовки данных применяется собственная математическая модель, в основе которой взяты расстояния между узловыми точками кисти руки.

На подготовленных и обработанных данных была обучена модель машинного обучения, используя алгоритмы sklearn.

Робототехническая часть устройства состоит из камеры, расположенной на кронштейне с двумя сервоприводами. При запуске прибора камера поворачивается в сторону руки.

Управление прибором осуществляется в автономном режиме микроконтроллерами Raspberry PI и esp32.

Прибор позволяет просто и в игровой форме изучить дактильную азбуку и расширить круг общения для слабослышащих людей.