Apa yang dimulai sebagai proyek hackathon 24 jam pada akhir pekan lalu dapat memberdayakan komunitas sumber terbuka untuk meningkatkan industri kacamata pintar. Lima anggota tim membuat kacamata pintar seharga $20, yang diberi nama Open Glass, yang menghubungkan apa yang Anda lihat dan dengar ke chatbot AI, seperti Meta’s Llama 3.
Scott Fitsimones berangkat ke pusat kota San Francisco pada Sabtu pagi untuk bertemu Nik Shevchenko, tanpa mengetahui bahwa dia akan menghabiskan 24 jam berikutnya di hackathon AI untuk membuat perangkat baru bersamanya. Pada saat itu, Fitsimones mengira dia sedang membeli liontin AI yang dibuat oleh Shevchenko, yang dia gambarkan sebagai pemimpin gerakan perangkat AI yang dapat dikenakan di San Francisco. Pada akhir akhir pekan, tim mereka memenangkan hackathon dan mendapatkan hasil yang kurang lebih baik 1.500 orang dalam daftar tunggu untuk memesan di muka kacamata pintar sumber terbuka mereka.
“Saya tidak tahu apa-apa tentang hackathon ini, dan ini hanya kebetulan saja,” kata Fitsimones. “Dan kemudian, Anda tahu, saya pikir kami mulai melakukan jamming dan membangun prototipe awal.”
Sementara itu, Shevchenko mengikuti hackathon dengan mengetahui bahwa dia ingin membangun elemen perangkat keras untuk semacam kacamata pintar, menurut rekan satu timnya (Shevchenko tidak menanggapi permintaan wawancara Gizmodo). Dia bergabung dengan Stepnan Korshakov, yang memecahkan tantangan perangkat lunak tersulit dalam proyek tersebut. Keduanya memilih Fitsimones, Shreeganesh Ramanan, dan Jatin Gupta untuk menjadi tim pemenang.
Di sebuah ruangan besar dan lapang yang menghadap ke perairan biru dan pegunungan hijau di Bay Area, para insinyur perangkat lunak melakukan coding di sofa-sofa empuk dengan tumpukan La Croix di sampingnya. Cerebral Valley sering mengadakan hackathon seperti ini, menyatukan dunia startup AI yang berkembang pesat di San Francisco. Shevchenko adalah salah satu dari sedikit orang yang menggunakan pena solder alih-alih laptop, sementara anggota tim lainnya menggunakan perangkat lunak tersebut. Suatu saat pada Sabtu malam, Shevchenko meninggalkan acara tersebut untuk mencetak casing komputer Open Glass 3D.
Setelah sekitar satu hari melakukan peretasan, Shevchenko dan tim dengan bangga mempersembahkan sepasang kacamata hitam murah dengan kotak hitam menonjol dari sisi kanan. Kacamata tersebut dilengkapi kamera yang mengambil gambar setiap lima detik, dan mikrofon yang terus-menerus mentranskripsikan audio. Ini mengumpulkan database foto dan teks untuk mencerminkan apa yang dilihat mata dan telinga Anda. Tekan tombol di samping kacamata, dan Anda dapat meminta chatbot Llama 3 Meta untuk menjawab pertanyaan tentang kehidupan Anda sendiri.
“Siapa nama orang itu?”, “Di mana saya meninggalkan kunci saya?”, dan “Berapa banyak kalori dalam buah-buahan ini?” adalah beberapa pertanyaan yang dijawab AI selama demo. Teknologi ini memiliki kegunaan yang berguna bagi banyak orang, namun khususnya dapat membantu seseorang yang mempunyai penglihatan atau pendengaran yang buruk.
Tim Shevchenko memenangkan hadiah pertama di hackathon, meskipun ada bug pada kemampuan bicara-ke-teks kacamata selama demo. Mereka mendapat persetujuan dari para eksekutif Meta dan Groq, serta CEO Hugging Face Clem Delangue yang menilai proyek akhir. Dalam beberapa jam, semangat kewirausahaan Shevchenko meningkat pesat dan dia membuat daftar tunggu untuk memesan versi prototipe di muka.
“Woah woah woah woah, harganya 1.300,” kata Korshakov melalui telepon dengan saya pada hari Senin ketika mengetahui berapa banyak pesanan di muka yang mereka terima. “Orang-orang di seluruh dunia ingin membangun sesuatu dengan ini. Sekarang mereka memiliki cara untuk memiliki dan berkontribusi terhadap keberhasilan proyek ini.”
Meskipun kacamata pintar lainnya ada di pasaran saat ini – seperti Meta Ray-Bans – kacamata tersebut tidak bersumber terbuka atau semurah ini. Open Glass menawarkan kit yang relatif murah yang memungkinkan pengembang untuk memilih LLM apa yang ingin mereka gunakan, dan memutuskan apa yang mereka ingin kacamata tersebut lakukan. Misalnya, tidak setiap pasang Open Glass harus mengambil gambar atau merekam audio secara terus-menerus. Ini menawarkan opsi kacamata pintar yang terjangkau dan dapat diretas, sebuah faktor bentuk yang sebelumnya terlalu mahal dan membatasi apa yang dapat Anda lakukan.
“Bisa dicolokkan ke OpenAI, bisa dicolokkan ke Gemini,” kata Ramanan dalam wawancara telepon. “Ini lebih tentang kemampuan untuk memadupadankan semua opsi terbaik dan kemudian membuat aplikasi dan kerangka kerja Anda sendiri yang menarik.”
Kacamata pintar belum begitu populer seperti perangkat wearable lainnya. Namun, kemajuan model AI multimodal menjadikan ini saat yang menarik bagi kacamata pintar. Sangat mudah untuk membayangkan bagaimana GPT-4 Omni baru OpenAI, yang dapat memproses video, audio, dan teks secara bersamaan, dapat digunakan dalam kacamata seperti ini. Google bahkan memamerkan prototipe Google Glasses baru dalam demo AI terbarunya pada hari Selasa. Open Glass berharap dengan memberikan akses kepada komunitas open source terhadap teknologi ini akan memungkinkan inovasi yang lebih besar di bidang ini.
Satu hal yang mengganggu kacamata pintar adalah masalah privasi. Ray-Bans Meta tidak terus-menerus merekam audio dan video untuk menggunakan hidup Anda seperti database, dan itu mungkin hal yang baik. Namun terdapat komunitas fanatik gadget AI yang semakin berkembang di Silicon Valley yang tertarik dengan gagasan untuk terus-menerus merekam kehidupan mereka untuk menciptakan asisten pribadi terbaik. Cincin, liontin, dan kini kacamata bermunculan dari startup di San Francisco, semuanya terpesona dengan potensi ini.
Meskipun teknologi open source akan memungkinkan pengembang untuk berinovasi pada ide-ide ini dengan cara yang lebih sederhana, masih ada kekhawatiran besar yang harus diatasi terkait privasi dan biaya. Pertanyaan-pertanyaan ini penting tetapi bukan merupakan fokus bagi pengembang pada tahap awal teknologi ini. Yang lebih penting bagi mereka adalah menjadikannya bermanfaat.
Beberapa orang non-teknis mungkin membeli Open Glass hanya untuk menggunakan kacamata pintar yang murah. Tim masih melakukan hashing terhadap produk tersebut, namun sepertinya produk tersebut sudah siap pakai dengan model bahasa besar yang terpasang di dalamnya dan aplikasi seluler yang menyertainya. Harga sebenarnya perangkat ini juga dapat berubah, meskipun semua kode sumber tersedia gratis di GitHub.
Kisah Open Glass adalah bukti berkembangnya budaya startup AI di San Francisco. Komunitas sumber terbuka dapat membuka terobosan penting dalam teknologi yang terjebak seperti kacamata pintar. Lebih praktisnya, mereka juga dapat menawarkan kacamata pintar kepada orang-orang non-teknis dengan harga tiket bioskop.
