Anthropic, sebuah perusahaan yang melakukan penelitian tentang keamanan AI, meminta proposal tentang cara mengevaluasi model pembelajaran tingkat lanjut.
Pertumbuhan AI yang pesat berarti ada penyedia dan model AI baru setiap saat. Setiap perusahaan teknologi besar memiliki modelnya sendiri, sementara ada puluhan perusahaan yang lebih kecil juga. Itu berarti bahwa industri ini memiliki masalah pembandingan yang meningkat, sehingga sulit untuk mengevaluasi secara akurat seberapa baik kinerja model AI.
Tidak hanya sulit untuk menyatakan seberapa efektif sebuah model, tetapi juga sulit untuk mengevaluasi risiko yang terkait dengan keamanan AI. Anthropic meminta proposal untuk menutup celah ini dalam evaluasi AI.
“Mengembangkan evaluasi yang berkualitas tinggi dan relevan dengan keselamatan tetap menjadi tantangan, dan permintaannya melampaui pasokan,” tulis perusahaan tersebut. “Untuk mengatasi hal ini, hari ini kami memperkenalkan inisiatif baru untuk mendanai evaluasi yang dikembangkan oleh organisasi pihak ketiga yang dapat mengukur kemampuan canggih dalam model AI secara efektif.”
Fokus utama proposal harus berpusat pada: penilaian Tingkat Keamanan AI; metrik kemampuan dan keamanan tingkat lanjut; serta infrastruktur, alat, dan metode untuk mengembangkan evaluasi. Harus ada rincian tentang pengujian yang dapat menilai kemampuan model AI untuk menyelesaikan berbagai tugas mulai dari serangan siber, mengerjakan senjata pemusnah massal, termasuk senjata nuklir, dan membuat deepfake atau misinformasi).
Cara mengajukan proposal evaluasi keamanan AI
Anda dapat membaca lebih banyak rincian pada setiap bagian yang Anthropic minta proposalnya dan mengajukan proposalnya di situs web perusahaan penelitianTim meninjau kiriman secara bertahap dan akan menindaklanjutinya dengan proposal terpilih untuk membahas langkah selanjutnya.
Anthropic telah mengalokasikan berbagai tingkat pendanaan untuk membantu membawa opsi penelitian tersebut ke tahap berikutnya, serta menawarkan kemungkinan untuk berbicara langsung dengan para ahli dari seluruh tim penelitian dan keselamatan internal mereka.
Gambar unggulan: Ideogram
