Jika Anda khawatir tentang bot AI yang mengikis konten situs web Anda untuk melatih AI, Cloudflare dapat membantu Anda melawannya.
Perusahaan yang mengklaim sebagai proxy sekitar 20% dari webtelah memperkenalkan alat baru yang memblokir semua bot AI agar tidak mengambil teks dari suatu situs. Cloudflare mengatakan alat tersebut tersedia untuk semua pelanggan, bahkan mereka yang menggunakan paket gratis.
Juga: Apakah Anda masih perlu membayar perangkat lunak antivirus pada tahun 2024?
Dengan meningkatnya AI generatif, perusahaan membutuhkan konten untuk melatih chatbot. Banyak yang beralih ke web scraper yang menarik teks dari situs untuk dianalisis (seperti yang dilakukan ChatGPT dengan posting Reddit Anda). Beberapa perusahaan bersikap terbuka dan jujur tentang bot web-scraping, tetapi beberapa tidak.
Cloudflare merilis fitur September lalu bagi pengguna untuk memblokir perayap web AI yang “buruk”, atau yang mengikis situs tanpa izin. Tentu saja, beberapa perusahaan menemukan cara mengatasinya dengan menggunakan perayap yang berpura-pura sebagai perayap asli. Itulah sebabnya alat baru ini memblokir semua perayap AI, bahkan yang mengikuti protokol yang tepat untuk mengikis.
Pada bulan Juni 2024, bot AI mengakses sekitar 39% dari satu juta “properti internet” teratas menggunakan Cloudflare, kata perusahaan tersebut. Kurang dari 3% dari properti tersebut mengambil tindakan untuk memblokir bot AI. Menurut Cloudflare, empat bot teratas yang mengakses situsnya adalah Bytespider, Amazonbot, ClaudeBot, dan GPTBot.
Bytespider, yang dimiliki oleh Bytedance, perusahaan yang memiliki TikTok, digunakan untuk mengumpulkan data pelatihan bagi model bahasanya yang besar, termasuk pesaing ChatGPT, Doubao. Amazonbot digunakan untuk melatih sisi tanya jawab Alexa, ClaudeBot melatih Claude AI, dan GPTBot melatih ChatGPT.
Juga: 5 cara Amazon dapat membuat langganan Alexa bertenaga AI sepadan dengan biayanya
Jika Anda pengguna Cloudflare, cara menggunakan alat ini mudah. Cukup buka bagian pengaturan di dasbor Anda, lalu klik “Keamanan” dan “Bot.” Dari sana, Anda akan melihat tombol sakelar berlabel “AI Scrapers and Crawlers.” Nyalakan tombol tersebut, dan bot AI tidak akan lagi memiliki akses ke konten Anda.
Tentu saja, bot AI terus berkembang. Cloudflare mengatakan fitur ini juga akan berkembang secara otomatis saat mendeteksi “sidik jari” bot yang melakukan pelanggaran.
Alat baru ini sekarang tersedia untuk semua pengguna Cloudflare mulai hari ini.
