Amazon Web Services telah memulai penyelidikan untuk menentukan apakah Perplexity AI melanggar aturannya Kabel. Tepatnya, divisi cloud perusahaan sedang menyelidiki tuduhan bahwa layanan tersebut menggunakan crawler, yang dihosting di servernya, yang mengabaikan Protokol Pengecualian Robot. Protokol ini merupakan standar web, dimana pengembang meletakkan file robots.txt pada domain yang berisi petunjuk apakah bot dapat atau tidak dapat mengakses halaman tertentu. Mematuhi instruksi tersebut bersifat sukarela, namun crawler dari perusahaan terkemuka umumnya mematuhinya sejak pengembang web mulai menerapkan standar ini pada tahun 90an.
Pada artikel sebelumnya, Berkabel dilaporkan bahwa mereka menemukan mesin virtual yang melewati instruksi robots.txt di situs webnya. Mesin tersebut dihosting di server Amazon Web Services menggunakan alamat IP 44.221.181.252 yang “tentu saja dioperasikan oleh Perplexity”. Dilaporkan ia juga mengunjungi properti Condé Nast lainnya ratusan kali selama tiga bulan terakhir untuk mengikis kontennya. Itu WaliBahasa Indonesia: Majalah Forbes Dan Surat kabar New York Times juga mendeteksinya mengunjungi publikasi mereka beberapa kali, Berkabel kata. Untuk memastikan apakah Perplexity benar-benar mengikis kontennya, Berkabel memasukkan judul atau deskripsi singkat artikelnya ke dalam chatbot perusahaan. Alat tersebut kemudian merespons dengan hasil yang mirip dengan artikelnya “dengan atribusi minimal.”
Baru baru ini Reuters Laporan tersebut mengklaim bahwa Perplexity bukan satu-satunya perusahaan AI yang melewati file robots.txt untuk mengumpulkan konten yang digunakan untuk melatih model bahasa yang besar. Namun, penyelidikan Amazon tampaknya difokuskan pada AI Perplexity saja. Seorang juru bicara Amazon mengatakan Kabel bahwa pelanggannya harus mematuhi instruksi robots.txt saat menjelajahi situs web. “Persyaratan layanan AWS melarang pelanggan menggunakan layanan kami untuk aktivitas ilegal apa pun, dan pelanggan kami bertanggung jawab untuk mematuhi persyaratan kami dan semua hukum yang berlaku,” kata mereka.
Juru bicara Perplexity, Sara Platnick mengatakan Berkabel bahwa perusahaan telah menanggapi pertanyaan Amazon dan membantah bahwa perayapnya melewati Protokol Pengecualian Robot. “PerplexityBot kami — yang berjalan di AWS — mematuhi robots.txt, dan kami mengonfirmasi bahwa layanan yang dikendalikan Perplexity tidak melakukan perayapan dengan cara apa pun yang melanggar Ketentuan Layanan AWS,” katanya. Namun, Platnick mengakui bahwa PerplexityBot akan mengabaikan robots.text saat pengguna menyertakan URL tertentu dalam pertanyaan chatbot mereka.
Aravind Srinivas, CEO Perplexity, juga sebelumnya membantah bahwa perusahaannya “mengabaikan Protokol Pengecualian Robot dan kemudian berbohong tentang hal itu.” Srinivas memang mengakuinya Perusahaan Cepat bahwa Perplexity menggunakan perayap web pihak ketiga sebagai tambahannya, dan bahwa bot Berkabel diidentifikasi adalah salah satunya.
