Cara Meta AI Mendeteksi Chat Berisiko Remaja
Ringkasan Cepat
- Meta AI mencari indikasi bunuh diri atau tindakan melukai diri dalam percakapan remaja.
- Pemeriksa manusia menilai chat yang sistem tandai sebelum Meta mengirim notifikasi.
- Meta mengembangkan eskalasi ke layanan darurat untuk kasus dengan risiko tinggi dan mendesak
Meta menghadirkan sistem keselamatan baru yang dapat memperingatkan orang tua ketika percakapan remaja dengan Meta AI menunjukkan risiko bunuh diri atau tindakan melukai diri sendiri.
Fitur ini mulai tersedia bagi keluarga yang memakai pengawasan orang tua Instagram di Amerika Serikat, Inggris, Australia, dan Kanada. Meta berencana memperluasnya ke negara lain sebelum akhir 2026, tetapi belum mengumumkan jadwal khusus untuk Indonesia.
Pembaruan tersebut menunjukkan cara Meta menggabungkan model AI, sistem klasifikasi risiko, pemeriksaan manusia, dan mekanisme eskalasi dalam satu alur keselamatan.
Meta AI Membaca Konteks Percakapan Remaja
Meta membangun sistem AI khusus untuk mencari indikasi keinginan bunuh diri atau melukai diri dalam percakapan. Sistem tidak hanya mencari kata tertentu, tetapi juga mencoba membaca ungkapan tersirat dan konteks pembicaraan.
Ketika menemukan indikasi risiko, Meta AI akan mengarahkan remaja ke layanan bantuan krisis. Chatbot itu juga mendorong pengguna untuk berbicara dengan orang tua, konselor, atau orang dewasa yang mereka percaya.
Meta mengembangkan indikator tersebut bersama orang tua dan ahli kesehatan mental. Perusahaan meminta lebih dari 75 profesional kesehatan mental untuk meninjau ratusan respons Meta AI terhadap prompt terkait bunuh diri dan tindakan melukai diri.
Para ahli menilai respons awal, konteks percakapan yang lebih luas, tindak lanjut, dan tingkat risiko pengguna.
Pemeriksa Manusia Menentukan Pengiriman Notifikasi
Meta tidak menyerahkan keputusan pengiriman notifikasi sepenuhnya kepada AI. Setiap chat yang sistem tandai akan masuk ke proses pemeriksaan manual sebelum perusahaan memberi tahu orang tua.
Langkah ini memakai pendekatan human in the loop. AI berfungsi sebagai penyaring awal, sedangkan pemeriksa manusia menilai konteks dan tingkat risikonya.
Meta tetap memilih mengirim notifikasi ketika maksud remaja belum sepenuhnya jelas.
“Jika maksud dari remaja tersebut masih samar, kami akan memilih untuk mengutamakan tindakan pencegahan dan tetap memberi tahu orang tua,” tulis Meta.
Pendekatan tersebut dapat menghasilkan false positive atau peringatan yang ternyata tidak menunjukkan ancaman nyata. Namun, Meta memilih risiko mengirim alarm tambahan daripada melewatkan pengguna yang membutuhkan pertolongan.
Orang tua tidak otomatis menerima salinan lengkap percakapan. Meta hanya mengirim peringatan mengenai potensi risiko serta panduan untuk membantu keluarga memulai pembicaraan dengan remaja.
Meta AI Bisa Terhubung dengan Layanan Darurat
Meta juga mengembangkan sistem yang dapat menghubungi petugas berwenang atau layanan darurat ketika percakapan menunjukkan risiko bunuh diri yang tinggi dan mendesak.
Kemampuan ini nantinya mencakup pengguna dewasa dan remaja. Meta sebelumnya sudah menjalankan mekanisme serupa untuk unggahan berisiko di Facebook dan Instagram. Perusahaan mencatat lebih dari 19.000 rujukan kepada petugas penyelamat di seluruh dunia sepanjang tahun lalu.
Namun, Meta belum menjelaskan tingkat akurasi sistem, waktu respons, standar pemeriksaan manusia, serta kemampuan teknologi tersebut dalam memahami Bahasa Indonesia, slang, candaan, dan bahasa campuran.
Di Indonesia, peluncuran fitur ini juga perlu menyesuaikan PP TUNAS yang membatasi kepemilikan akun pada platform berisiko tinggi bagi anak di bawah 16 tahun. Karena itu, fitur Meta AI kemungkinan lebih relevan bagi pengguna berusia 16-17 tahun.
Teknologinya menawarkan peluang untuk mendeteksi risiko lebih cepat. Namun, efektivitasnya tetap bergantung pada akurasi membaca konteks, kualitas pemeriksaan manusia, dan transparansi Meta dalam mengelola percakapan sensitif.