Chatbot AI milik orang mati berisiko ‘menghantui’ orang yang masih hidup secara digital

Chatbots dengan kecerdasan buatan (AI) yang meniru bahasa dan kepribadian orang mati berisiko ‘menghantui’ orang yang masih hidup secara digital, seorang peneliti memperingatkan.

Beberapa perusahaan telah menawarkan untuk ‘menghidupkan kembali nenek’ dengan menawarkan pengguna kesempatan untuk mengunggah percakapan dan jejak digital kerabat mereka yang telah meninggal ke dalam chatbot.

Layanan tersebut dapat dipasarkan kepada orang tua atau anak-anak yang sakit parah, atau kepada orang-orang yang masih sehat yang ingin membuat katalog kehidupan mereka dan meninggalkan warisan digital.

Namun para peneliti di Universitas Cambridge mengatakan bahwa chatbot AI – yang dikenal sebagai deadbots – adalah upaya ‘berisiko tinggi’ yang dapat menyebabkan kerugian psikologis jangka panjang bagi penggunanya dan pada dasarnya tidak menghormati hak-hak orang yang meninggal.

Peneliti AI Dr Tomasz Hollanek, dari Leverhulme Centre, mengatakan: “Sangat penting bahwa layanan akhirat digital mempertimbangkan hak dan persetujuan tidak hanya dari orang-orang yang mereka buat ulang, tetapi juga mereka yang harus berinteraksi dengan simulasi tersebut.

“Layanan-layanan ini berisiko menyebabkan kesusahan besar bagi orang-orang jika mereka mengalami gangguan digital yang tidak diinginkan dari pembuatan ulang AI yang sangat akurat terhadap orang-orang yang telah hilang.

‘Potensi dampak psikologisnya, terutama pada saat-saat yang sudah sulit, bisa sangat menghancurkan.’

Studi yang diterbitkan dalam jurnal Philosophy and Technology ini menyoroti potensi perusahaan menggunakan deadbot untuk secara diam-diam mengiklankan produk kepada pengguna dengan cara seperti orang tercinta yang sudah meninggal, atau menyusahkan anak-anak dengan bersikeras bahwa orang tua yang sudah meninggal masih “bersama Anda”.

Para peneliti mengatakan bahwa ketika makhluk hidup mendaftar untuk diciptakan kembali setelah mereka mati, chatbots yang dihasilkan dapat digunakan oleh perusahaan untuk mengirim spam ke keluarga dan teman yang masih hidup dengan pemberitahuan, pengingat, dan pembaruan yang tidak diminta tentang layanan yang mereka sediakan – mirip dengan yang dilakukan secara digital “ diintai oleh orang mati”.

Bahkan mereka yang awalnya merasa nyaman dengan deadbot mungkin merasa lelah dengan interaksi sehari-hari yang menjadi ‘beban emosional yang luar biasa’, menurut penulis studi tersebut, namun mereka juga mungkin tidak berdaya jika simulasi AI ditangguhkan jika orang yang mereka cintai yang sekarang sudah meninggal menandatangani kontrak. kontrak panjang dengan layanan akhirat digital.

Rekan penulis studi, Dr Katarzyna Nowaczyk-Basinska mengatakan: ‘Kemajuan pesat dalam AI generatif berarti bahwa hampir semua orang yang memiliki akses internet dan pengetahuan dasar dapat menghidupkan kembali orang tercinta yang telah meninggal.

‘Area AI ini adalah ladang ranjau etis.

“Penting untuk memprioritaskan martabat orang yang meninggal, dan memastikan bahwa hal ini tidak diganggu oleh motif finansial dari layanan akhirat digital, misalnya.

‘Pada saat yang sama, seseorang mungkin meninggalkan simulasi AI sebagai hadiah perpisahan untuk orang terkasih yang tidak siap memproses kesedihannya dengan cara ini.

‘Hak-hak donor data dan mereka yang berinteraksi dengan layanan AI setelah kematian harus dilindungi secara setara.’

Para peneliti mengatakan bahwa platform yang menawarkan untuk menciptakan kembali orang mati dengan AI dengan biaya yang murah sudah ada, seperti Project December, yang mulai memanfaatkan model GPT sebelum mengembangkan sistemnya sendiri, dan aplikasi termasuk HereAfter.

Layanan serupa juga mulai bermunculan di Tiongkok, menurut penelitian tersebut.

Dr Hollanek mengatakan orang-orang ‘mungkin mengembangkan ikatan emosional yang kuat dengan simulasi semacam itu, yang akan membuat mereka rentan terhadap manipulasi’.

Dia mengatakan bahwa cara-cara untuk ‘memensiunkan deadbot dengan cara yang bermartabat harus dipertimbangkan’, yang ‘dapat berarti suatu bentuk pemakaman digital’.

“Kami merekomendasikan protokol desain yang mencegah deadbot digunakan dengan cara yang tidak sopan, seperti untuk iklan atau aktif di media sosial,” tambahnya.

Para peneliti merekomendasikan pembatasan usia untuk deadbots, dan juga menyerukan ‘transparansi yang bermakna’ untuk memastikan pengguna secara konsisten menyadari bahwa mereka sedang berinteraksi dengan AI.

Mereka juga meminta tim desain untuk memprioritaskan protokol opt-out yang memungkinkan calon pengguna mengakhiri hubungan mereka dengan deadbot dengan cara yang memberikan penutupan emosional.

Dr Nowaczyk-Basinska berkata: ‘Kita perlu mulai berpikir sekarang tentang bagaimana kita memitigasi risiko sosial dan psikologis dari keabadian digital, karena teknologinya sudah ada.’

Hubungi tim berita kami dengan mengirim email kepada kami di webnews@metro.co.uk.

Situs ini dilindungi oleh reCAPTCHA dan Google Kebijakan pribadi Dan Ketentuan Layanan menerapkan.