Microsoft telah meluncurkan model AI ringan terbarunya yang disebut Phi-3 Mini yang dirancang untuk berjalan pada ponsel pintar dan perangkat lokal lainnya, hal itu terungkap dalam sebuah artikel baru. makalah penelitian. Dilatih dengan 3,8 miliar parameter, ini adalah yang pertama dari tiga model bahasa Phi-3 kecil yang akan dirilis perusahaan dalam waktu dekat. Tujuannya adalah untuk memberikan alternatif yang lebih murah dibandingkan LLM bertenaga cloud, sehingga memungkinkan organisasi kecil untuk mengadopsi AI.
Menurut Microsoft, model baru ini dengan mudah mengungguli model kecil Phi-2 sebelumnya dan setara dengan model yang lebih besar seperti Llama 2. Faktanya, perusahaan mengatakan Phi-3 Mini memberikan respons yang mendekati level model yang 10 kali lipat ukurannya. .
“Inovasi ini sepenuhnya terletak pada kumpulan data pelatihan kami,” menurut makalah penelitian tersebut. Kumpulan data itu didasarkan pada Model Phi-2, tetapi menggunakan “data web dan data sintetis yang sangat difilter”, kata tim tersebut. Faktanya, LLM terpisah digunakan untuk melakukan kedua tugas tersebut, secara efektif membuat data baru yang memungkinkan model bahasa yang lebih kecil menjadi lebih efisien. Tim tersebut diduga terinspirasi oleh buku anak-anak yang menggunakan bahasa yang lebih sederhana untuk membahas topik yang kompleks Tepi.
Meskipun masih belum dapat memberikan hasil LLM bertenaga cloud, Phi-3 Mini dapat mengungguli Phi-2 dan model bahasa kecil lainnya (Mistral, Gemma, Llama-3-In) dalam tugas mulai dari matematika, pemrograman, hingga tes akademik . Pada saat yang sama, ini berjalan pada perangkat sederhana seperti ponsel cerdas, tanpa memerlukan koneksi internet.
Keterbatasan utamanya adalah luasnya “pengetahuan faktual” karena ukuran kumpulan data yang lebih kecil — oleh karena itu kinerjanya tidak baik dalam pengujian “TriviaQA”. Namun, ini sebaiknya dilakukan untuk model seperti itu yang hanya memerlukan kumpulan data internal berukuran kecil. Hal ini memungkinkan perusahaan yang tidak mampu membeli LLM yang terhubung ke cloud untuk beralih ke AI, harapan Microsoft.
Phi-3 Mini sekarang tersedia di Azure, Hugging Face, dan Ollama. Microsoft selanjutnya akan merilis Phi-3 Small dan Phi-3 Medium dengan kemampuan yang jauh lebih tinggi (masing-masing 7 miliar dan 14 miliar parameter).
Artikel ini berisi link afiliasi; jika Anda mengeklik tautan tersebut dan melakukan pembelian, kami dapat memperoleh komisi.
