高校2年生が開発、聴覚障害者を支えるAI手話翻訳グローブ

聴覚障害者がコミュニケーションで多くの困難を抱えていることに気付いた、ベトナム中部クアンチ（Quảng Trị）省の高校2年生が、恵まれない人々が学び、知識を得られるよう手話翻訳グローブを開発した。

「カッカッカッ、ドンドンドン」。下校を告げる太鼓が鳴り響くと、チャン・ゴック・ロン（Trần Ngọc Long）さん（クアンチ省の旧ドンハー〈Đông Hà〉市にあるレー・クイ・ドン（Lê Quý Đôn）英才高校の2年生）は急いでリュックを背負い、ある部屋へ向かう。そこには、「聖地」と呼ばれるクアンチの地で育ったこの生徒が長年温めてきた夢である装置が置かれている。

高校2年生が人工知能（AI）ツールを2つも自らプログラミングし、自分で研究した装置―手話翻訳グローブ―に組み込み、障害のある人（聴覚・言語障害者）が健常者と同じようにコミュニケーションできるようにするとは、誰も想像しなかっただろう。

チャン・ゴック・ロンさんとAIグローブ。

「誰もが知識を得られるようになってほしい」

クアンチ省障害児学校をたびたび訪れていたロンさんは、同年代の子どもたちがコミュニケーションや学習ができず、知識を得られずにいることを知り、心を痛めていた。

思いやりの心を持つチャン・ゴック・ロンさんは、自分より恵まれない人々を助けるため、コミュニケーション支援装置を作ろうと考えた。

「障害のある人はとても多くの不利益を被っていると感じます。人が知識を得て成長するには、聞くことと話すことが欠かせません。もし僕が不運にも目が見えなくなっても知識を求めることはできますが、生まれつき耳が聞こえず話せない人にはそれができないのです」とチャン・ゴック・ロンさんは語る。

半年余り前にプロジェクトを始めた当時、彼はどこから手を付ければよいかも分からず、すべてがゼロからのスタートだった。絶望し、諦めかけたこともあったが、障害のある人を助けたいという夢を胸に、苦労をいとわず技術を熱心に学び、製品の改良を続けた。

2つのAIツールを訓練

午前2時、ドンハーの街が静まり返る中、とある寝室からカチカチという音が聞こえる。チャン・ゴック・ロンさんがパソコンに向かい、指を素早く動かしてプログラムのコードを打ち込んでいるのだ。彼は手話翻訳グローブに組み込むAIを訓練している。

物理専攻の生徒であるロンさんには、プログラミングの知識がまったくなかった。幸い、学校の情報科の教師ホー・ヴァン・ラム（Hồ Văn Lâm）さんが指導し、パソコンでコードを扱えるよう基本的な技術や資料を提供してくれた。

「プログラミングの知識は最初ゼロでした。自分だけのAIツールを作り、既存のAIソフトウェアを装置とベトナム手話のデータに合わせて訓練できるよう、プログラミングを教えてくれた先生に本当に感謝しています」とロンさんは話す。

「私の名前は…。私は芸術が大好きです」。クアンチ省障害児学校の教室で、スマートフォンから声が響く。真っ赤なスカーフを肩に巻き、無邪気で明るい表情の児童が、センサーチップを取り付けたグローブを着けている。

生まれつき耳が聞こえず話すことができないこの児童は、両手を動かして手話をしている。わずかな動作だけで、手元のスマートフォンから自己紹介と自分の好きなことを伝える音声が流れた。

これを可能にしたのが、ロンさんが開発した手話翻訳グローブだ。この製品は、手話を変換することで、聴覚・言語障害者が健常者と自然な言葉でコミュニケーションできるようにする電子グローブである。

センサーを搭載したロンさんの手話翻訳グローブ。手話の動作が正確に言葉に変換されるよう、ベトナム手話のデータセットに合わせて人工知能を自ら訓練した。

グローブには多くの優れた機能が搭載されており、音声を再生し会話の内容を表示するスマートフォンアプリと連動する。

特筆すべきは、このグローブが英語とベトナム語の両方で、健常者と聴覚・言語障害者の双方向のコミュニケーションを可能にする点だ。手話の個々の単語を、会話にふさわしい自然な言葉の完全な文に変換する。

ロンさんの装置には、曲げセンサー、ジャイロセンサー、磁気センサー、加速度センサーのチップが搭載されている。

これらのセンサーが指ごとの曲げ伸ばしの差や電圧の差を測定し、データ列を生成してスマートフォンのアプリに送る。その後、人工知能がこのデータを完全な文の音声に変換する。

しかし当初、この装置には空間内の軌跡を描く際の誤差が生じていた。ロンさんは、このセンサー誤差を補正するAIツールを作ることで問題を解決した。

さらに彼は、ベトナム手話の収集を続けてデータベースに加え、聴覚障害者の手の動きに正確に対応した文を生成できるようAIを訓練した。

栄光をつかむ

研究が行き詰まり、プロジェクトに費やす時間が成績に大きく影響したことから、チャン・ゴック・ロンさんは研究を諦めようとしたこともあった。その学期は優秀生徒の称号を得られず、プレッシャーで絶望に陥った。

省の障害児学校での試験では、センサーが手話を正確に読み取れず、ロンさんのグローブは期待通りに動作しなかった。

チャン・ゴック・ロンさんは手話翻訳グローブのプロジェクトで全国科学技術コンテストの1等賞を受賞した。

「以前の製品と同じ道をたどって開発していたため、進めるほど間違った方向に進み、目標通りの装置を作れませんでした。行き詰まって危機に陥り、絶望して、諦めようという考えが頭をよぎりました」とロンさんは振り返る。

指導教師の励ましを受け、思い切って方針を転換し、まったく新しいアプローチを選んだチャン・ゴック・ロンさんは、深層学習（ディープラーニング）モデルによるドリフト補正技術を組み込むことでこの困難を克服し、空間内の動きを捉えるセンサーを搭載したIMUモジュール上で軌跡を正確に描けるようにした。

手話翻訳グローブのプロジェクトでロンさんを指導したホー・ヴァン・ラム先生（左端）と、レー・クイ・ドン英才高校の校長。省の科学技術コンテストでの記念写真。

ロンさんの手話翻訳グローブは、次第に性能を高めていった。プロジェクト「聴覚・言語障害者のための、手話を自然言語に変換するグローブ」は全国科学技術コンテストで1等賞を受賞し、米国で開催される国際科学技術フェアへの出場プロジェクトを選ぶ選考に進んだ。

「成功には犠牲や引き換えが必要だと思います。前学期は優秀生徒になれませんでしたが、それでもとても誇りに思っています。いつか僕の製品が、聴覚障害のある人が簡単にコミュニケーションできる助けになり、彼らが学び、知識を得て、国の発展に貢献できるようになることを願っています」。チャン・ゴック・ロンさんは記者にそう語り、話を締めくくった。

編集情報: こちら

この記事はベトナム語から翻訳されました。原文を読む