 |
| Sumber Gambar : Kompas |
SL2T diperkenalkan bersamaan dengan peluncuran Google Pixel 11 Series. Kehadiran teknologi tersebut menjadi salah satu pengembangan AI Google yang menyasar kebutuhan komunikasi pengguna bahasa isyarat.
Untuk tahap awal, SL2T masih memiliki cakupan terbatas. Model ini baru dapat mengenali American Sign Language (ASL) dan menerjemahkannya ke dalam bahasa Inggris.
SL2T Menerjemahkan Bahasa Isyarat Menggunakan Kamera
Berbeda dari teknologi dikte yang memanfaatkan mikrofon untuk mengubah suara menjadi teks, SL2T menggunakan kamera smartphone untuk membaca gestur bahasa isyarat.
Cara kerjanya dimulai ketika kamera menangkap gerakan pengguna. Sistem AI kemudian mengenali berbagai gestur yang ditampilkan dan mengubahnya menjadi teks yang dapat dibaca di layar.
Teknologi ini tersedia melalui dua fitur, yakni Gboard dan Live Transcribe. Pengguna dapat memanfaatkan kamera ponsel untuk memberikan bahasa isyarat tanpa perlu mengetik secara manual.
Konsep tersebut memungkinkan komunikasi berbasis bahasa isyarat dilakukan dengan lebih praktis, khususnya dalam situasi ketika pengguna ingin menyampaikan respons dalam bentuk tulisan.
Cara Menggunakan SL2T di Gboard
Pada Gboard, fitur SL2T dapat diakses melalui ikon Sign Language to Text yang berada di bagian atas keyboard.
Setelah ikon tersebut dipilih, kamera akan muncul pada layar. Pengguna kemudian dapat mulai memberikan gestur menggunakan bahasa isyarat.
Sistem akan memproses gerakan tersebut dan menampilkan hasil terjemahannya dalam bentuk teks. Dengan mekanisme ini, kamera berfungsi sebagai media input untuk menggantikan penggunaan suara pada fitur dikte konvensional.
Sementara itu, integrasi SL2T dengan Live Transcribe memberikan fungsi yang sedikit berbeda. Pengguna dapat menggunakan bahasa isyarat ketika berkomunikasi dengan Gemini sehingga respons tidak harus diberikan melalui pengetikan.
AI Mengenali Gerakan Tangan hingga Ekspresi Wajah
Pengembangan SL2T tidak hanya berfokus pada gerakan tangan. Google DeepMind menyebut sistem tersebut juga dirancang untuk mengenali gerakan lengan, tubuh, kepala, hingga wajah.
Pendekatan tersebut diperlukan karena bahasa isyarat tidak hanya bergantung pada posisi atau pergerakan tangan. Berbagai bagian tubuh dapat menjadi bagian dari informasi yang disampaikan dalam sebuah gestur.
Untuk mengenali gerakan tersebut, sistem memanfaatkan teknologi computer vision bernama MediaPipe Holistic. Teknologi ini memproses rekaman kamera dan memetakan gerakan pengguna menjadi sejumlah titik koordinat.
Data berupa titik koordinat tersebut kemudian digunakan untuk membantu proses penerjemahan bahasa isyarat menjadi teks.
Google Klaim Menjaga Privasi Data Pengguna
Penggunaan kamera untuk mengenali bahasa isyarat membuat aspek privasi menjadi salah satu bagian penting dalam pengembangan SL2T.
Google menyatakan video mentah dari pengguna tidak dikirim langsung ke server. Rekaman diproses terlebih dahulu menggunakan teknologi computer vision sehingga video dapat diubah menjadi data berupa titik koordinat.
Data yang dikirim untuk diproses kemudian bukan berupa video mentah, melainkan informasi koordinat hasil pemetaan gerakan. Pendekatan ini dirancang untuk mengurangi kebutuhan pengiriman rekaman visual pengguna ke server.
SL2T Dilatih dengan Lebih dari 100.000 Jam Data
Kemampuan SL2T dikembangkan menggunakan dataset bahasa isyarat dalam skala besar. Google menyebut model tersebut telah dilatih menggunakan lebih dari 100.000 jam data yang berasal dari lebih dari 50 bahasa isyarat.
Sekitar 25 persen dari data tersebut merupakan data American Sign Language atau ASL. Pengembangan model juga dilakukan dengan melibatkan berbagai komunitas tuli di dunia.
SL2T turut mendukung penggunaan bahasa isyarat dengan satu tangan serta pengguna tangan kiri. Kemampuan tersebut menjadi bagian dari upaya Google untuk membuat sistem lebih mampu menangani variasi penggunaan bahasa isyarat.
Akurasi SL2T Masih Memiliki Keterbatasan
Google menguji kemampuan SL2T melalui benchmark FLEURS-ASL. Dalam pengujian tersebut, model diklaim memperoleh skor 70 BLEURT secara zero-shot.
Menurut Google, skor tersebut menjadi capaian tertinggi yang pernah dilaporkan untuk penerjemahan ASL ke bahasa Inggris pada benchmark tersebut.
Meski demikian, kemampuan SL2T belum sepenuhnya sempurna. Google menyebut model masih berpotensi mengalami kesalahan ketika menghadapi tanda yang jarang digunakan.
Model juga masih memiliki keterbatasan dalam memahami fingerspelling atau proses mengeja huruf menggunakan jari dengan cepat. Selain itu, konstruksi kalimat tertentu dan konteks waktu juga dapat menjadi tantangan dalam proses penerjemahan.
Keterbatasan tersebut menunjukkan bahwa teknologi penerjemahan bahasa isyarat masih membutuhkan pengembangan lebih lanjut agar dapat memahami bahasa secara lebih kontekstual.
Baru Tersedia di Google Pixel 11 Series
Untuk saat ini, SL2T baru tersedia pada Google Pixel 11 Series. Dukungan penerjemahan yang diberikan juga masih terbatas pada American Sign Language ke bahasa Inggris.
Google berencana memperluas ketersediaan teknologi tersebut ke lebih banyak perangkat. Dukungan terhadap lebih banyak bahasa isyarat dan bahasa tujuan juga disebut akan ditambahkan pada masa mendatang.
Kehadiran SL2T menunjukkan bagaimana pengembangan AI mulai diarahkan tidak hanya untuk meningkatkan kemampuan smartphone, tetapi juga mendukung kebutuhan komunikasi yang lebih beragam. Jika dukungan bahasa dan perangkat terus diperluas, teknologi penerjemahan bahasa isyarat seperti ini berpotensi menjadi salah satu fitur aksesibilitas yang semakin banyak digunakan.
