Situs web menuduh startup AI Anthropic melewati aturan dan protokol anti-scraping mereka

Freelancer menuduh Anthropic, perusahaan rintisan AI di balik model bahasa besar Claude, mengabaikan protokol robots.txt “jangan perayapan” untuk mengikis data situs webnya. Sementara itu, CEO iFixit Kyle Wiens mengatakan Anthropic telah mengabaikan kebijakan situs web yang melarang penggunaan kontennya untuk pelatihan model AI. Matt Barrie, kepala eksekutif Freelancer, mengatakan Informasi bahwa ClaudeBot dari Anthropic adalah “penggali paling agresif sejauh ini.” Situs webnya diduga mendapat 3,5 juta kunjungan dari perayap perusahaan dalam kurun waktu empat jam, yang “mungkin sekitar lima kali lipat volume perayap AI nomor dua”. Demikian pula, Wiens diposting di X/Twitter Bot Anthropic menyerang server iFixit sejuta kali dalam 24 jam. “Anda tidak hanya mengambil konten kami tanpa membayar, Anda juga menghabiskan sumber daya devops kami,” tulisnya.

Kembali pada bulan Juni, Terdakwa Wired perusahaan AI lainnya, Perplexity, yang merayapi situs webnya meskipun ada Protokol Pengecualian Robot, atau robots.txt. File robots.txt biasanya berisi petunjuk bagi perayap web tentang halaman mana yang dapat dan tidak dapat diakses. Meskipun kepatuhan bersifat sukarela, sebagian besar diabaikan oleh bot jahat. Setelah Kabel bagian keluar, sebuah perusahaan rintisan bernama TollBit yang menghubungkan perusahaan AI dengan penerbit konten melaporkan bahwa bukan hanya Perplexity yang melewati sinyal robots.txt. Meskipun tidak menyebutkan nama, Orang Dalam Bisnis mengatakan pihaknya mengetahui bahwa OpenAI dan Anthropic juga mengabaikan protokol tersebut.

Barrie mengatakan Freelancer awalnya mencoba menolak permintaan akses bot tersebut, tetapi akhirnya harus memblokir perayap Anthropic sepenuhnya. “Ini adalah tindakan pengikisan yang sangat buruk [which] membuat situs tersebut menjadi lebih lambat bagi semua orang yang mengoperasikannya dan pada akhirnya memengaruhi pendapatan kami,” tambahnya. Mengenai iFixit, Wiens mengatakan situs tersebut telah menyetel alarm untuk lalu lintas yang tinggi, dan orang-orangnya terbangun pada pukul 3 pagi karena aktivitas Anthropic. Perayap perusahaan tersebut berhenti meng-scraping iFixit setelah menambahkan baris di dalamnya berkas robots.txt yang melarang bot Anthropic, khususnya.

Startup AI tersebut mengatakan Informasi bahwa mereka menghormati robots.txt dan perayapnya “menghormati sinyal itu ketika iFixit menerapkannya.” Mereka juga mengatakan bahwa mereka bertujuan “untuk meminimalkan gangguan dengan mempertimbangkan seberapa cepat [it crawls] “domain yang sama,” itulah sebabnya kasus tersebut kini sedang diselidiki.

Perusahaan AI menggunakan perayap untuk mengumpulkan konten dari situs web yang dapat mereka gunakan untuk melatih teknologi AI generatif mereka. Akibatnya, mereka menjadi sasaran berbagai tuntutan hukum, dengan penerbit menuduh mereka melakukan pelanggaran hak cipta. Untuk mencegah lebih banyak tuntutan hukum diajukan, perusahaan seperti OpenAI telah membuat kesepakatan dengan penerbit dan situs web. Mitra konten OpenAI, sejauh ini, termasuk News Corp, Vox Media, Waktu keuangan dan Reddit. Wiens dari iFixit tampaknya terbuka terhadap gagasan penandatanganan kesepakatan untuk artikel situs web cara memperbaiki, dan memberi tahu Anthropic dalam sebuah tweet bahwa ia bersedia berdiskusi tentang lisensi konten untuk penggunaan komersial.