Kemunculan fitur kecerdasan buatann atau akal imitasi ((AI) generatif seperti Grok di platform media sosial X baru-baru ini memicu gelombang kekhawatiran baru di ranah digital, sekaligus alarm global. Dalam hitungan detik, teknologi ini mampu memanipulasi foto seseorang, mengubah pakaian sopan menjadi gambar vulgar tanpa persetujuan.
Untuk jangka pendek, pemblokiran chatbot AI generatif ini diharapkan bisa menyelamatkan generasi muda. Di satu pihak kasus tersebut menjadi tamparan keras bagi Elon Musk selaku pemilik X. Namun, di balik kehadiran fitur tersebut sesungguhnya menjadi alarm nyaring bagi masyarakat saat ini.
Sebab, fenomena ini bukan lagi sekadar "tren" atau "keisengan" digital, melainkan manifestasi terbaru dari kekerasan berbasis jender online/daring (KBGO) yang semakin canggih dan berbahaya. Faktanya, saat ini AI justru mulai disalahgunakan untuk memproduksi pornografi sintetis dan konten kekerasan seksual daring.
Fenomena ini bukan sekadar masalah teknis, melainkan manifestasi dari nilai-nilai patriarki yang meresap ke dalam inovasi teknologi. Ini merupakan peringatan keras bagi kita semua tentang sisi gelap inovasi teknologi yang tak terkendali dan berbahaya.
Dari perspektif jender, penyalahgunaan AI untuk menciptakan konten pornografi sintetis merupakan bentuk serangan langsung terhadap hak asasi, martabat, dan kemanusiaan perempuan. Hal ini menimbulkan dampak psikologis mendalam.
Kriminolog dari Universitas Indonesia, Mamik Sri Supatmi secara tajam menggarisbawahi bahwa kemajuan teknologi seperti AI adalah pisau bermata dua. Di satu sisi, ia berpotensi memajukan peradaban dan membawa kebaikan. Namun, di sisi lain, ketika jatuh ke tangan yang salah, AI menjadi instrumen kejahatan yang ampuh.
"Lagi-lagi, dalam masyarakat patriarkal, AI adalah instrumen kekerasan terhadap perempuan (dan anak-anak perempuan). Grok telah memudahkan, memfasilitasi kekerasan seksual di ruang siber yang dampaknya sangat luar biasa pada korban,” tutur Mamik, di Jakarta, Selasa (13/1/2026).
Teknologi Grok telah melipatgandakan kekerasan seksual dengan menargetkan perempuan dan anak sebagai objek dehumanisasi seksual. Penderitaan korban tidak hanya terbatas di ruang siber tetapi merembet ke ruang fisik.
“Kejahatan ini adalah perluasan dan pelipatgandaan kekerasan seksual yang dengan sengaja menargetkan perempuan dalam ruang fisik,” ujar Mamik, yang juga pakar bidang jender dan advokasi korban kejahatan.
Siti Aminah Tardi, Direktur Indonesian Legal Resource Center (ILRC) mengkritik kebijakan Grok yang berlindung di balik dalih kebebasan berekspresi, mengatasnamakan hak asasi manusia, tanpa pembatasan yang ketat. Karena itulah, Aminah mengingatkan X bahwa Dewan HAM PBB pada 2012 menyatakan “The same rights that people have offline must also be protected online.”
Pernyataan tersebut pertama kali ditegaskan secara formal dalam Resolusi Dewan HAM PBB Nomor 20/8 tahun 2012 tentang The Promotion, Protection and Enjoyment of Human Rights on the Internet, dan kemudian ditegaskan kembali dalam berbagai resolusi lanjutan.
“Negara dan korporasi digital memiliki kewajiban untuk menghormati, melindungi dan memenuhi HAM. Pelanggaran HAM di ruang digital harus diperlakukan setara dengan pelanggaran di dunia nyata,” ujar Aminah yang juga Komisioner Komisi Nasional Antikekerasan terhadap Perempuan (Komnas Perempuan) periode 2020-2024.
Kebebasan berpendapat dan berekspresi bukanlah hak absolut. Kebebasan tersebut dibatasi oleh kewajiban untuk menghormati hak, martabat, dan nama baik orang lain, serta moral publik. Dalam konteks dunia digital yang tidak netral dan masih dipengaruhi nilai-nilai patriarki, perempuan kerap diposisikan secara subordinat dan menjadi objek seksual.
Ini adalah kejahatan yang wajib direspons negara dan platform penyedia dengan sangat serius.
Oleh karena itu, korporasi digital memikul tanggung jawab fundamental untuk melindungi kelompok rentan dari penyalahgunaan produk mereka. Dalam konteks Indonesia, fenomena Grok perlu dapat perhatian serius, karena berkaitan dengan jaminan hak bebas dari kekerasan yang diatur dalam UU Pornografi, UU Informasi dan Transaksi Elektronik (UU ITE), UU Perlindungan Anak, dan prinsip pencegahan kekerasan seksual di bidang teknologi informasi.
Penyalahgunaan AI untuk menciptakan konten intim non-konsensual (non-consensual intimate imagery (NCII)) secara efektif menormalisasi dehumanisasi perempuan. Dalam praktik tersebut, tubuh perempuan direduksi menjadi objek publik yang dapat dimanipulasi dan dieksploitasi tanpa izin.
Seperti yang diulas dalam artikel opini di Harian Kompas oleh Maulana Akbar, peneliti BRIN (Kompas, 13 Januari 2026), kemudahan akses ini menciptakan anggapan bahwa tindakan tersebut sah, padahal di baliknya terdapat kerusakan reputasi dan trauma psikologis yang mungkin tak terobati.
Karena itulah, Maulana mengingatkan dampak sosial akan kebebasan dari hasil teknologi yang tanpa kendali ini bisa jadi sangat mengerikan, terutama bagi kelompok rentan.
Fenomena AI yang mulai disalahgunakan untuk memproduksi pornografi sintetis dan konten kekerasan seksual daring, merupakan eskalasi dari KBGO yang terus meningkat. Data dari Komnas Perempuan menunjukkan pada 2024, ada 445.502 kasus kekerasan terhadap perempuan di Indonesia, dengan 330.097 kasus di antaranya kekerasan berbasis jender.
Lebih mengkhawatirkan lagi, kasus KBGO yang terlapor di Komnas Perempuan pada tahun 2024 meningkat 40,8 persen dibandingkan tahun 2023, mencapai 1.791 kasus. Angka-angka ini menjadi bukti bahwa kekerasan terhadap perempuan di ruang digital bukanlah fenomena marginal, melainkan krisis sistemik yang membutuhkan penanganan serius.
Kasus Grok menjadi tamparan keras bagi para regulator dan industri teknologi. Mentalitas "bergerak cepat dan merusak" (move fast and break things) yang mungkin berhasil di industri rekayasa fisik, terbukti sangat berbahaya ketika diterapkan pada ranah sosial yang kompleks.
Pemerintah Indonesia telah memblokir sementara akses ke Grok pada 10 Januari 2026. Menteri Komunikasi dan Digital, Meutya Hafid, menyatakan bahwa langkah ini diambil demi melindungi perempuan, anak, dan seluruh masyarakat dari risiko konten pornografi palsu yang dihasilkan menggunakan teknologi AI.
Kebijakan tersebut diapresiasi kalangan luas sebagai langkah proaktif dalam menjaga ruang digital yang aman dan beretika. Namun, pemblokiran saja tidak cukup. Diperlukan kerangka regulasi yang komprehensif dan tegas yang menuntut pertanggungjawaban mutlak (strict liability) dari platform digital.
“Ini adalah kejahatan yang wajib direspons negara dan platform penyedia dengan sangat serius,” tutur Mamik.
Karena itu negara berkewajiban memastikan korporasi penyedia platform mencegah penyalahgunaan AI sebagai fasilitator kejahatan (kekerasan seksual), melalui regulasi yang memadai, berpihak kepada korban dan kelompok rentan, serta menjamin penegakan hukum yang berintegritas.
Tak hanya itu, negara dan masyarakat juga wajib meneguhkan prinsip nol toleransi terhadap kekerasan seksual. Setiap kebijakan terkait anak wajib mengedepankan/didasari prinsip kepentingan terbaik anak. “Setiap langkah penanganan kejahatan seksual wajib berpihak kepada korban/penyintas,” ujar Mamik.
Kasus Grok seharusnya menjadi pembelajaran bersama, yang menunjukan bahwa kekerasan seksual daring berbasis AI adalah krisis multidimensional yang membutuhkan respons dari berbagai lini. Ini bukan hanya masalah teknologi tetapi juga masalah budaya, hukum, dan etika.
Di satu sisi, perlu ada intervensi kultural yang masif untuk menanamkan literasi dan etika digital di masyarakat. Pengguna harus memahami bahwa di balik layar dan algoritma, ada manusia nyata yang martabat dan kehidupannya dipertaruhkan.
Teknologi ini bukanlah mainan tanpa konsekuensi. Setiap klik, setiap teks, prompt, dan setiap gambar yang dihasilkan memiliki potensi untuk menghancurkan kehidupan seseorang.
Maka, bagi para pengguna, penting untuk menyadari bahwa berpartisipasi dalam tren manipulasi gambar baik sebagai pembuat maupun penyebar adalah bentuk kekerasan yang dapat dijerat hukum dan meninggalkan luka mendalam pada korban.
Di sisi lain, negara tidak bisa lagi gamang. Diperlukan orkestrasi regulasi yang kuat, untuk mengintegrasikan UU ITE, UU Perlindungan Data Pribadi, dan UU Tindak Pidana Kekerasan Seksual, sehingga memaksa platform untuk bertanggung jawab. Inovasi teknologi tidak boleh menjadi dalih untuk menciptakan anarki digital yang memangsa kelompok paling rentan (perempuan dan anak perempuan).
Ingatlah, jika kita gagal menginjak rem etika sambil terus menginjak gas inovasi, kita berisiko menciptakan masa depan di mana teknologi yang seharusnya memberdayakan-justru menjadi senjata pemusnah kemanusiaan.



