手話の翻訳機!スマホ経由で音声に変換できる!

手話を音声化するデバイス テクノロジー

「手話」は言葉を発すことが出来ない(耳が聞こえない)人にとっては重要なコミュニケーションツールです。
ご存知の通り、手や指の動きでさまざまな意思を表現する。
しかし、手話によるコミュニケーションは両者が手話を理解しているが必要であるため、手話での対話は相手を選ぶことになってします。


そこで、手話を音声会話に変換するための手袋型デバイスをカリフォルニア大学ロサンゼルス校(UCLA)の研究者が発表しました。

実際にどんな手袋なのかが一発でわかるムービーを、UCLA工学部が公開しています。


手袋型デバイスを装着し、パーの状態から指を動かし、すぐにまたパーに戻すと……

1秒ほどのタイムラグを挟んで、スマートフォンが「I」と発声。画面には指の形が表示されています。続いて指を動かすと……

スマートフォンが「L」と発声。指の形をキープしているのは1秒にも満たないほど短い時間ですが、しっかり認識できています。

続いて「Y」が認識され、最後に「I」「L」「Y」の指の形を混ぜた形に動かすと……


「I LOVE YOU」と表現されました。指の形を認識するのは一瞬ですが、スマートフォンに認識結果が表示されて音声が出力されるまでは、およそ1~2秒のラグがあるようです。


指の動きを認識するデバイスはこのよう形です。
手に装着して手話を読み取るデバイスはこれまでにも開発されていました。
ですが、デバイスのサイズが非常に大きかったり高性能なPCが必要だったりしたため、日常生活の中で応用するには厳しいものがありました。

しかし、UCLAの研究チームが開発したデバイスは、伸縮可能なセンサーが指の動きを読み取って電気信号に変換し、500円玉程度の回路基板でスマートフォンにワイヤレスで送信する仕組み。
記事作成時点では1秒に1単語という変換速度ですが、従来のものに比べて軽量かつ安価で、さらに耐久性も期待できるとのこと。

また、研究チームはテスターの眉間から口角まで粘着センサーを追加することで、手話を行う上で非常に重要な「顔の表情」もキャプチャすることに成功したと報告しています。

UCLAはすでにこのデバイスに関する技術の特許を出願中。UCLA工学部のジュン・チェン准教授は、将来的に商用化するためには語彙(ごい)をさらに追加し、翻訳を高速化する必要があると述べ、「より多くの人々が手話を学ぶのに、このデバイスが役立つことを願っています」と語りました。

コメント