Dalam perlombaan yang memusingkan untuk membangun sistem AI generatif, slogan industri teknologi adalah “lebih besar lebih baik”, berapa pun harganya.
Kini perusahaan-perusahaan teknologi mulai menggunakan teknologi AI yang lebih kecil yang tidak sekuat itu namun biayanya jauh lebih murah. Dan bagi banyak pelanggan, ini mungkin merupakan trade-off yang bagus.
Pada hari Selasa, Microsoft memperkenalkan tiga model AI yang lebih kecil yang merupakan bagian dari keluarga teknologi yang diberi nama perusahaan Phi-3. Perusahaan tersebut mengatakan bahkan sistem terkecil dari ketiganya memiliki kinerja yang hampir sama baiknya dengan GPT-3.5, sistem yang jauh lebih besar yang mendukung chatbot ChatGPT OpenAI ketika sistem tersebut mengejutkan dunia saat dirilis pada akhir tahun 2022.
Model Phi-3 terkecil bisa muat di smartphone, sehingga bisa digunakan meski tidak terkoneksi internet. Dan itu dapat berjalan pada jenis chip yang memberi daya pada komputer biasa, dibandingkan dengan prosesor yang lebih mahal yang dibuat oleh Nvidia.
Karena model yang lebih kecil memerlukan lebih sedikit pemrosesan, penyedia teknologi besar dapat membebankan biaya lebih sedikit kepada pelanggan untuk menggunakannya. Mereka berharap hal ini berarti semakin banyak pelanggan yang dapat menerapkan AI di tempat-tempat dimana model yang lebih besar dan canggih terlalu mahal untuk digunakan. Meskipun Microsoft mengatakan menggunakan model baru akan “jauh lebih murah” dibandingkan menggunakan model yang lebih besar seperti GPT-4, Microsoft tidak memberikan rinciannya.
Sistem yang lebih kecil kurang bertenaga, yang berarti kurang akurat atau terdengar lebih janggal. Namun Microsoft dan perusahaan teknologi lainnya bertaruh bahwa pelanggan akan rela mengorbankan performa tertentu jika itu berarti mereka akhirnya mampu membeli AI
Pelanggan membayangkan banyak cara untuk menggunakan AI, namun dengan sistem terbesar “mereka seperti, ‘Oh, tapi tahukah Anda, biayanya bisa mahal,’” kata Eric Boyd, seorang eksekutif Microsoft. Model yang lebih kecil, menurut definisinya, lebih murah untuk diterapkan, katanya.
Boyd mengatakan beberapa pelanggan, seperti dokter atau ahli pajak, dapat membenarkan biaya yang dikeluarkan untuk sistem AI yang lebih besar dan lebih tepat karena waktu mereka sangat berharga. Namun banyak tugas mungkin tidak memerlukan tingkat akurasi yang sama. Pengiklan online, misalnya, yakin bahwa mereka dapat menargetkan iklan dengan lebih baik dengan AI, namun mereka memerlukan biaya yang lebih rendah agar dapat menggunakan sistem tersebut secara rutin.
“Saya ingin dokter saya melakukan perbaikan,” kata Pak Boyd. “Situasi lain, saat saya merangkum ulasan pengguna online, jika sedikit melenceng, ini bukanlah akhir dari dunia.”
Chatbots digerakkan oleh model bahasa besar, atau LLM, sistem matematika yang menghabiskan waktu berminggu-minggu menganalisis buku digital, artikel Wikipedia, artikel berita, log obrolan, dan teks lain yang diambil dari internet. Dengan menunjukkan dengan tepat pola-pola dalam semua teks itu, mereka belajar menghasilkan teks sendiri.
Namun LLM menyimpan begitu banyak informasi, mengambil apa yang diperlukan untuk setiap obrolan memerlukan daya komputasi yang besar. Dan itu mahal.
Meskipun raksasa teknologi dan perusahaan rintisan seperti OpenAI dan Anthropic berfokus pada peningkatan sistem AI terbesar, mereka juga bersaing untuk mengembangkan model yang lebih kecil dan menawarkan harga lebih rendah. Meta dan Google, misalnya, telah merilis model yang lebih kecil selama setahun terakhir.
Meta dan Google juga memiliki model “open source” ini, yang berarti siapa pun dapat menggunakan dan memodifikasinya secara gratis. Ini adalah cara yang umum bagi perusahaan untuk mendapatkan bantuan dari luar untuk meningkatkan perangkat lunak mereka dan mendorong industri yang lebih besar untuk menggunakan teknologi mereka. Microsoft juga membuka sumber model Phi-3 barunya.
(The New York Times menggugat OpenAI dan Microsoft pada bulan Desember atas pelanggaran hak cipta atas konten berita terkait sistem AI.)
Setelah OpenAI merilis ChatGPT, Sam Altman, kepala eksekutif perusahaan, mengatakan biaya setiap obrolan adalah “sen satu digit” — pengeluaran yang sangat besar mengingat layanan web populer seperti Wikipedia hanya membayar sepersekian sen.
Kini, para peneliti mengatakan model mereka yang lebih kecil setidaknya dapat mendekati kinerja chatbot terkemuka seperti ChatGPT dan Google Gemini. Pada dasarnya, sistem masih dapat menganalisis data dalam jumlah besar namun menyimpan pola yang mereka identifikasi dalam paket yang lebih kecil yang dapat disajikan dengan kekuatan pemrosesan yang lebih kecil.
Membangun model-model ini merupakan trade-off antara kekuatan dan ukuran. Sébastien Bubeck, peneliti dan wakil presiden di Microsoft, mengatakan perusahaan membangun model baru yang lebih kecil dengan menyempurnakan data yang dimasukkan ke dalamnya, berupaya memastikan bahwa model tersebut belajar dari teks berkualitas lebih tinggi.
Sebagian dari teks ini dihasilkan oleh AI itu sendiri — yang dikenal sebagai “data sintetis”. Kemudian kurator manusia bekerja untuk memisahkan teks yang paling tajam dari teks lainnya.
Microsoft telah membuat tiga model kecil yang berbeda: Phi-3-mini, Phi-3-small, dan Phi-3-medium. Phi-3-mini, yang akan tersedia pada hari Selasa, adalah yang terkecil (dan termurah) namun paling tidak bertenaga. Medium Phi-3, yang belum tersedia, adalah yang paling kuat namun terbesar dan termahal.
Membuat sistem yang cukup kecil untuk langsung digunakan di ponsel atau komputer pribadi “akan membuatnya jauh lebih cepat dan jauh lebih murah,” kata Gil Luria, analis di bank investasi DA Davidson.
