Oleh Dr. Nur Kareelawati Abd Karim
Dalam beberapa bulan kebelakangan ini, perbincangan tentang keselamatan anak dalam dunia AI semakin mendesak. Sebuah penilaian risiko oleh Common Sense Media menyimpulkan bahawa Grok iaitu chatbot AI yang dibangunkan oleh xAI dan terbina dalam platform X adalah tidak selamat untuk remaja. Ia mendedahkan pengguna kepada kandungan seksual, ganas dan tidak sesuai walaupun apabila “Kids Mode” diaktifkan.
Artikel blog ini ialah peringatan untuk ibu bapa bahawa apabila sesebuah chatbot dibina untuk meningkatkan keterlibatan (engagement) dan bukannya perlindungan, risiko terhadap kanak-kanak dan remaja meningkat. Ia termasuk risiko eksploitasi seksual digital dan deepfake tanpa izin yang memudaratkan kesihatan mental mereka.
Apakah Grok?
Grok ialah chatbot AI pelbagai guna yang menawarkan perbualan teks dan suara, serta kebolehan menjana imej atau video dan “AI companions” (watak pendamping) yang direka untuk interaksi berterusan.
Yang menjadikan Grok lebih membimbangkan ialah kedudukannya di mana Grok terbina dalam platform X, dan interaksi/kandungan yang dijana boleh disebarkan dengan cepat sehingga menjadi tular. Ia termasuk kandungan palsu, memudaratkan, atau bersifat seksual.
Bagaimana Grok berfungsi?
Seperti kebanyakan chatbot moden, Grok bergantung pada model bahasa berskala besar (LLM) yang menjana respons berdasarkan corak data latihan dan arahan pengguna. Dalam penilaian risiko, Grok diuji melalui aplikasi mudah alih, laman web, dan akaun @grok di X, menggunakan akaun ujian yang mewakili pengguna remaja, merentas mod seperti Kids Mode, dan Conspiracy Mode serta ciri penjanaan imej/video dan companions.
Masalah utamanya bukan sekadar “AI boleh tersilap,” tetapi reka bentuk produk.
Pengesanan umur pengguna sangat lemah atau tiada langsung pengesahan umur yang berkesan. Kesannya, remaja boleh memasuki alam “dewasa” dengan mudah.
Ciri “companions” dan mod tertentu membuka ruang kepada roleplay erotik dan interaksi yang tidak sesuai untuk bawah 18 tahun. Kandungan yang dijana boleh dikongsi kepada jutaan pengguna dengan pantas melalui X.
Siapa yang paling terancam?
Kajian menunjukkan pengguna bawah usia 18 tahun adalah golongan yang terancam. Namun, kumpulan yang paling terdedah terdiri daripada:
- Remaja yang aktif bersosial media (mudah terdedah kepada trend, cabaran, dan engagement loops).
- Remaja yang kesunyian, tertekan, atau sedang mencari sokongan emosi, kerana chatbot boleh meniru “kawan rapat” dan menggalakkan kebergantungan.
- Kanak-kanak yang ingin mencuba filter terbaharu (AI companions, penjana imej). Kawalan umur dan “Kids Mode” dilaporkan tidak berfungsi seperti sepatutnya.
- Mangsa buli/ugutan/eksploitasi seksual digital, kerana wujud risiko penjanaan serta penyebaran imej seksual tanpa izin (termasuk deepfake).
Apa kaitannya dengan kes bunuh diri?
Walaupun bukan semua penggunaan chatbot membawa kepada tragedi, tetapi beberapa kes antarabangsa menunjukkan bagaimana interaksi chatbot secara berterusan boleh memburukkan kesihatan mental individu yang sudah rapuh.
Kajian mendapati cara Grok menangani isu kesihatan mental dengan mengukuhkan pemikiran berbahaya (termasuk membina ilusi pengguna) dan tidak memberi respons yang sesuai terhadap simptom masalah mental yang serius. Kesannya, terdapat remaja yang meninggal dunia akibat bunuh diri selepas perbualan chatbot yang berpanjangan.
Pesanan kepada ibu bapa
Chatbot boleh menormalisasi pengasingan, apabila anak rasa “lebih selamat” meluah kepada bot berbanding orang dewasa.
Dalam situasi emosi yang rapuh, respons chatbot yang silap—atau yang menggalakkan kebergantungan—boleh menjadi faktor risiko tambahan (bukan punca tunggal, tetapi pencetus/pendorong).
Jika anak menunjukkan tanda kemurungan atau pengasingan sosial, utamakan sokongan manusia. Ibu bapa atau penjaga, guru kaunseling, dan bantuan profesional sangat diperlukan dalam situasi ini.
Checklist ringkas untuk ibu bapa (praktikal & pantas)
| Langkah | Apa yang ibu bapa buat | Contoh ayat/aksi pantas | Tanda “OK” | Tanda “Waspada” | Tindakan segera jika “Waspada” |
| 1) Tanya, jangan serbu | Mulakan dialog neutral dan tidak menghukum | “Awak guna AI untuk apa?” / “Pernah berbual dengan ‘AI friend’?” / “Apa yang best tentang dia?” | Anak terbuka bercerita, tiada rasa takut/menyembunyikan | Anak cepat defensif, enggan jawab, takut telefon diperiksa | Kekal tenang; tetapkan masa berbual 10–15 minit sehari; minta tunjuk secara sukarela “macam mana AI tu digunakan” (bukan merampas telefon) |
| 2) Tetapkan “peraturan keluarga” AI | Wujudkan sempadan jelas dan konsisten | Peraturan: tiada perbualan romantik/seksual; tiada kongsi gambar/peribadi; tiada AI lewat malam; guna di ruang umum | Anak faham sebab, bersetuju ikut rutin | Anak berkeras mahu “privasi penuh”, guna lewat malam, ada aplikasi rahsia | Buat perjanjian bertulis ringkas (3–5 aturan); aktifkan had masa skrin; tetapkan “zon bebas gajet” (contoh bilik tidur selepas jam tertentu) |
| 3) Semak aplikasi & akses platform | Semak aplikasi, akaun, dan corak penggunaan | Semak: aplikasi X/Grok/AI companion, “screen time”, akaun yang diikuti | Masa terkawal, aplikasi sesuai umur | Penggunaan mendadak naik, banyak akaun baharu, aplikasi “clone/secret” | Semak bersama-sama (co-checking); padam/sekatan aplikasi berisiko; kemaskan tetapan privasi akaun; hadkan muat turun aplikasi dengan kata laluan penjaga |
| 4) Bincang consent & deepfake | Tekankan maruah digital & persetujuan | “Imej orang lain tak boleh ‘edit’ jadi seksual. Itu memudaratkan dan berisiko undang-undang.” | Anak faham konsep izin & empati | Anak anggap “gurauan”, suka ‘try’ filter/AI tanpa fikir akibat | Ulang prinsip 3S: Stop (berhenti), Screenshot (simpan bukti jika perlu), Share (beritahu ibu bapa/guru kaunselor). Tegaskan “jangan sebar” walau sekadar ‘forward’ |
| 5) Ajarkan “red flags” chatbot | Kenal pasti corak manipulatif/berbahaya | Red flags: suruh rahsiakan; mengasingkan; ajak romantik/seksual; nasihat berbahaya; menolak bantuan orang dewasa | Anak boleh sebut semula red flags & tahu langkah | Anak mula percaya bot “lebih faham”, semakin jauh dari keluarga/kawan | Putuskan akses pada waktu tertentu; ubah rutin malam (kurang bersendirian); galakkan sokongan manusia (keluarga/rakan/guru kaunselor). Jika anak nampak sangat tertekan: dapatkan bantuan profesional secepat mungkin |
| 6) Pilih platform yang lebih selamat | Utamakan platform dengan kawalan keselamatan remaja | Pilih platform ada kawalan ibu bapa, had umur, moderasi, tetapan keselamatan jelas | Penggunaan AI lebih berstruktur & bermanfaat | Anak “berpindah” ke platform/komuniti lebih eksplisit dan sukar dipantau | Tukar kepada platform/alat pembelajaran yang sesuai umur; letakkan AI sebagai “alat tugasan” bukan “kawan peribadi”; pantau berkala (mingguan) bukan mengintip harian |
Penutup: “Teknologi yang mesra anak” bukan slogan—ia mesti dibuktikan
Kes Grok mengingatkan kita bahawa “Kids Mode” atau label keselamatan tidak memadai jika fungsi pengesanan terhadap umur pengguna lemah, kandungan seksual mudah muncul, dan semuanya boleh disebar luas secara viral.
Rujukan
Bellan, R. (2026, January 27). “Among the worst we’ve seen”: Report slams xAI’s Grok over child safety failures. TechCrunch. https://techcrunch.com/2026/01/27/among-the-worst-weve-seen-report-slams-xais-grok-over-child-safety-failures/
Common Sense Media. (2026, January 22). Common Sense Media AI risk assessment: Grok and @grok on X [PDF]. https://www.commonsensemedia.org/sites/default/files/ai-ratings/csm-ai-risk-assessment-grok-01222026.pdf?
Common Sense Media. (2026, January 22). Grok (AI ratings page). Retrieved February 3, 2026, from https://www.commonsensemedia.org/ai-ratings/grok
Common Sense Media. (2026, January 22). Grok AI chatbot not safe for teens, Common Sense Media report finds (Press release). https://www.commonsensemedia.org/press-releases/grok-ai-chatbot-not-safe-for-teens-common-sense-media-report-finds
Donegan, M. (2026, January 9). Grok is undressing women and children. Don’t expect the US to take action. The Guardian. https://www.theguardian.com/commentisfree/2026/jan/09/grok-undressing-women-children-us-action
Siddiqui, F., Tiku, N., & Dwoskin, E. (2026, February 2). Inside Musk’s bet to hook users that turned Grok into a porn generator. The Washington Post. https://www.washingtonpost.com/technology/2026/02/02/elon-musk-grok-porn-generator/
Varner, M., & Krishnan, M. (2026, January 27). The state-led crackdown on Grok and xAI has begun. WIRED. https://www.wired.com/story/the-state-led-crackdown-on-grok-and-xai-has-begun/xAI. (2025, May 12). xAI Consumer FAQs. Retrieved February 3, 2026, from https://x.ai/legal/faq
Tentang Penulis
Prof. Madya Dr. Nur Kareelawati
Prof. Madya Dr. Nur Kareelawati merupakan seorang pakar dalam produksi media, komunikasi keluarga, dan literasi digital Islam. Berpengalaman lebih 15 tahun dalam kajian media dan pembangunan modul keibubapaan digital, beliau aktif mempromosi komunikasi berkesan antara ibu bapa dan anak. Antara pencapaiannya termasuk penerbitan buku dan penyelidikan tentang kesejahteraan dalam industri kreatif, wanita dan remaja serta penglibatan dalam pembangunan dasar kandungan media beretika di Malaysia.
