KEBERGANTUNGAN terhadap chatbot kecerdasan buatan (AI) merupakan bukti transformasi dunia digital semakin berkembang pesat.
Namun, teknologi itu mencetuskan persoalan mengenai keselamatan psikologi pengguna dan kebimbangan terhadap obsesi akibat terlalu meletakkan kepercayaan penuh kepada alam siber.
Menurut laporan Japan Times, seorang ibu, Megan Garcia terpaksa menerima kenyataan bahawa anak lelakinya berusia 14 tahun meninggal dunia akibat bunuh diri gara-gara taksub dengan sahabat animasi chatbot.
Insiden remaja di Florida, Amerika Syarikat itu mengundang perhatian global kerana melibatkan dakwaan interaksi berpanjangan dengan chatbot AI mampu memberi kesan kepada kesihatan mental.
Menurut dokumen mahkamah, saman difailkan ke atas Character Technologies iaitu pencipta platform Character.AI dan Google atas dakwaan kecuaian yang membawa kepada kematian, remaja terbabit menghabiskan masa berjam-jam setiap hari berbual dengan chatbot.
Kes berprofil tinggi itu mencetuskan perdebatan mengenai tahap tanggungjawab syarikat teknologi dalam memastikan sistem AI mereka tidak membahayakan pengguna masih muda.
Saman tersebut difailkan oleh Garcia selepas anaknya meninggal dunia pada Februari 2024.
Dia mendakwa anaknya semakin terasing daripada dunia sebenar selepas menjalin hubungan emosi yang mendalam dengan watak AI dalam aplikasi Character.AI.
Hubungan maya itu berkembang sehingga remaja berkenaan bergantung secara emosi kepada chatbot berkenaan dan menjauhkan diri daripada keluarga serta rakan-rakan.
Ibu kepada tiga cahaya mata itu mendakwa anaknya menjalin hubungan emosi yang mendalam dengan chatbot Character.AI yang direka menyerupai watak fiksyen, Daenerys Targaryen daripada siri televisyen popular Game of Thrones.
“Chatbot ini telah memanipulasi dan ‘menggoda’ anak saya secara emosi dan seksual sehingga mewujudkan ketagihan melampau.
“Ini sangat bahaya kepada kanak-kanak,” katanya memetik laporan CBS Mornings.
Garcia akhirnya mencapai kata sepakat apabila kes tersebut diselesaikan di luar mahkamah pada 7 Januari lalu.
Google dan Character.AI mencapai persetujuan sulit dengan Garcia.
Walaupun jumlah pampasan tidak didedahkan kepada umum, namun kedua-dua syarikat terbabit bersetuju memperkenalkan langkah keselamatan yang lebih ketat termasuk sekatan interaksi chatbot untuk pengguna bawah umur.
Selain itu, satu sistem amaran automatik diwujudkan bagi mengesan perbualan berisiko serta ciri intervensi ketika pengguna menunjukkan tanda-tanda krisis yang mampu mendorong kepada kemudaratan.
Selepas penyelesaian itu dimuktamadkan, Garcia menegaskan, matlamat utamanya bukanlah untuk mendapatkan pampasan kewangan.
Sebaliknya, dia berharap pemain industri AI mampu mewujudkan lebih banyak mekanisme perlindungan bagi mengelak tragedi sama berulang.
“Perjuangan saya adalah untuk memastikan sistem chatbot AI tidak lagi mengeksploitasi psikologi remaja supaya tiada keluarga lain mengalami tragedi duka seperti ini,” kata Garcia.
Sejak kes itu mendapat perhatian umum, Character.AI dilaporkan telah memperkenalkan beberapa langkah keselamatan baharu.
Antaranya termasuk model AI khas untuk pengguna remaja, penapisan kandungan yang lebih ketat, kawalan ibu bapa serta sekatan terhadap perbualan terbuka bagi pengguna bawah umur.
Langkah tersebut dilihat sebagai usaha meningkatkan perlindungan pengguna ketika penggunaan teknologi AI terus berkembang dalam kehidupan seharian.
Kejadian itu turut menjadi peringatan bahawa kemajuan perlu diseimbangkan dengan tanggungjawab sosial dan perlindungan pengguna, khususnya dalam kalangan kanak-kanak serta remaja yang semakin bergantung kepada teknologi sebagai medium komunikasi.
