Google telah memperluas Project Gameface, sebuah proyek sumber terbuka yang bertujuan untuk membuat perangkat teknologi lebih mudah diakses, ke Android, dan kini dapat digunakan untuk mengendalikan antarmuka ponsel pintar. Proyek ini pertama kali diperkenalkan selama Google I/O 2023 sebagai mouse gaming hands-free yang dapat dikendalikan menggunakan gerakan kepala dan ekspresi wajah. Mouse ini dirancang bagi mereka yang menderita cacat fisik dan tidak dapat menggunakan tangan atau suara untuk mengendalikan perangkat. Dengan tetap mempertahankan fungsi yang sama, versi Android menambahkan kursor virtual untuk memungkinkan pengguna mengendalikan perangkat mereka tanpa menyentuhnya.
Dalam pengumuman yang dibuat di blog yang berfokus pada pengembang pos, Google berkata, “Kami membuka lebih banyak kode untuk Project Gameface guna membantu pengembang membangun aplikasi Android agar setiap perangkat Android lebih mudah diakses. Melalui kamera perangkat, perangkat ini dengan mulus melacak ekspresi wajah dan gerakan kepala, menerjemahkannya ke dalam kontrol yang intuitif dan personal.” Lebih lanjut, perusahaan meminta pengembang untuk menggunakan alat tersebut untuk menambahkan fitur aksesibilitas ke aplikasi mereka juga.
Project Gameface berkolaborasi dengan organisasi India Incluzza yang mendukung para penyandang disabilitas. Melalui kolaborasi tersebut, proyek tersebut mempelajari bagaimana teknologinya dapat diperluas ke berbagai kasus penggunaan seperti mengetik pesan, mencari pekerjaan, dan banyak lagi. Proyek tersebut menggunakan Face Landmarks Detection API dari MediaPipe dan layanan aksesibilitas Android untuk membuat kursor virtual baru bagi perangkat Android. Kursor bergerak mengikuti gerakan kepala pengguna setelah melacaknya menggunakan kamera depan.
API mengenali 52 gerakan wajah termasuk mengangkat alis, membuka mulut, menggerakkan bibir, dan banyak lagi. 52 gerakan ini digunakan untuk mengontrol dan memetakan berbagai fungsi pada perangkat Android. Salah satu fitur menariknya adalah drag. Pengguna dapat menggunakan ini untuk menggeser layar beranda. Untuk membuat efek drag, pengguna harus menentukan titik awal dan akhir. Ini bisa berupa membuka mulut dan menggerakkan kepala, dan setelah titik akhir tercapai, menutup mulut lagi.
Khususnya, meskipun teknologi ini telah tersedia di GitHub, kini terserah kepada pengembang untuk membangun aplikasi menggunakan opsi ini agar lebih mudah diakses oleh pengguna. Apple juga baru-baru ini memperkenalkan fitur baru yang menggunakan pelacakan mata untuk mengontrol iPhone.
