Semakin banyak staff yang menggunakan AI tanpa mematuhi prosedur peninjauan TI dan keamanan siber yang telah ditetapkan, hal ini mengingatkan kita pada tantangan masa lalu yang ditimbulkan oleh Shadow IT SaaS. Pesatnya adopsi alat AI, seperti peningkatan pesat ChatGPT menjadi 100 juta pengguna dalam waktu 60 hari setelah peluncuran, didorong oleh permintaan staff dan memberikan tekanan pada CISO dan timnya untuk mempercepat adopsi AI. Studi yang menunjukkan adanya peningkatan produktivitas sebesar 40% dari AI generatif semakin memperkuat dorongan untuk mengadopsi AI, sehingga menyebabkan banyak orang yang mengabaikan penggunaan alat AI yang tidak berizin.
Namun, jika menyerah pada tekanan-tekanan ini, organisasi dapat terkena risiko kebocoran dan pelanggaran data SaaS yang serius, terutama karena staff tertarik pada alat AI yang dikembangkan oleh usaha kecil, solopreneur, dan pengembang indie. Penggunaan AI dalam keamanan siber telah menjadi tren penting, dengan alat berbasis AI yang menawarkan pemantauan real-time, wawasan paparan ancaman, prediksi risiko pelanggaran, dan kemampuan pertahanan proaktif. Seiring dengan meluasnya ruang digital, jumlah kejahatan siber terus meningkat, menjadikan AI sebagai komponen penting keamanan siber untuk melindungi sistem data.
Untuk mengatasi tantangan keamanan yang ditimbulkan oleh pesatnya adopsi alat-alat AI, para profesional TI dan keamanan siber beralih ke alat-alat berbasis AI untuk meningkatkan kemampuan audit mereka. Alat-alat ini memanfaatkan pembelajaran mesin, otomatisasi, dan analisis data untuk memberikan pemahaman yang lebih mendalam tentang infrastruktur TI organisasi, membantu memitigasi risiko yang terkait dengan penggunaan alat AI tanpa izin. Seiring dengan semakin matangnya AI dan masuk ke bidang keamanan siber, organisasi perlu mewaspadai potensi kerugian, seperti penggunaan AI oleh peretas untuk mengembangkan malware yang bermutasi dan menerobos algoritma keamanan.
Singkatnya, penerapan alat AI yang tidak terkendali oleh staff menghadirkan tantangan yang lazim bagi CISO dan tim keamanan siber, yang memerlukan keseimbangan antara memenuhi permintaan staff dan memitigasi risiko keamanan terkait. Memanfaatkan alat keamanan siber berbasis AI dan meningkatkan kemampuan audit melalui AI dapat membantu organisasi menavigasi lanskap yang terus berkembang ini dan melindungi dari potensi ancaman.
Hacker dapat mengkompromikan Shadow IT untuk mengakses data dan sistem perusahaan
Sebagai contoh, pertimbangkan seorang staff di bidang keuangan yang sangat menyukai alat pembuatan bagan tertentu. Penerapan pembuatan bagan yang didukung TI, dari sudut pandang pegawai keuangan, tidak efektif. Dengan semakin dekatnya rapat dewan, staff dapat mendaftar untuk paket gratis atau versi uji coba alat pembuatan bagan pilihan mereka, berlangganan penuh pada kartu perusahaan yang tidak menandai transaksi di bawah ambang batas dolar tertentu, atau bahkan membayar tagihan secara pribadi. untuk menyelesaikan pekerjaan dengan cepat.
Risiko yang terkait dengan seorang staff yang menggunakan aplikasi jenis ini dalam cakupan yang sangat terbatas biasanya minimal. Namun sifat ekosistem TI yang terhubung saat ini, dengan integrasi yang mudah dan dirancang, dapat dengan cepat mengubah perhitungan risiko.
Sekarang bayangkan staff bagian keuangan menghubungkan alat pembuatan bagan Shadow IT ke akun Microsoft 365 mereka untuk mengimpor data langsung dari Excel, bukan menempelkannya secara manual. Staff tersebut juga memerlukan data penjualan dari Salesforce dan Clari dan tidak berpikir dua kali untuk menambahkan integrasi tersebut. Setelah grafik siap untuk ditinjau, grafik tersebut dibagikan kepada chief financial officer (CFO) melalui Slack. CFO tanpa sadar mengklik “Ya” untuk menghubungkan aplikasi pembuatan grafik ke Slack untuk memungkinkan pratinjau dan pengunduhan yang mudah.
Dalam waktu satu sore, alat pembuatan bagan berubah dari penggunaan terisolasi menjadi terintegrasi dengan Microsoft 365, Salesforce, Clari, dan Slack. Ia berbagi izin yang sama dengan staff keuangan tepercaya di Salesforce dan Clari dan memiliki izin tingkat eksekutif yang lebih tinggi di Slack karena penerimaan koneksi CFO. Dalam ekosistem TI, alat tersebut kini menjadi aplikasi pihak ketiga yang terhubung ke semua platform ini.
Seperti yang diilustrasikan dalam contoh ini, aplikasi pihak ketiga membuat pekerjaan lebih mudah bagi staff dengan mengorbankan peningkatan risiko pelanggaran. Jika aplikasi pihak ketiga disusupi, pelaku ancaman yang cerdas sering kali dapat memperoleh akses ke semua data dan sistem SaaS yang terhubung dengan aplikasi tersebut. Peretas tersebut, dengan izin tingkat CFO, dapat membuat perubahan luas yang memengaruhi data dan proses yang sangat sensitif, seperti kepatuhan Sarbanes-Oxley.
Situasi alat pembuatan bagan ini bersifat hipotetis, namun peretas berusaha mengeksploitasi kelemahan jenis ini setiap hari. Mendapatkan visibilitas proaktif terhadap aplikasi yang memiliki risiko paling besar, tentu saja, merupakan kondisi akhir yang diinginkan. Namun untuk mencapainya tentu mempunyai tantangan tersendiri.
Startup AI Indie Biasanya tidak mengedepankan keamanan AI dengan cermat
Lanskap startup AI indie telah berkembang secara signifikan, dengan banyaknya aplikasi yang kini berjumlah puluhan ribu. Startup ini mendapatkan daya tarik dengan memikat pengguna dengan model freemium dan memanfaatkan strategi pemasaran pertumbuhan berbasis produk. Meskipun popularitas mereka semakin meningkat, terdapat kekurangan yang nyata dalam langkah-langkah keamanan yang diterapkan oleh para pengembang AI indie ini dibandingkan dengan rekan-rekan perusahaan mereka. Menurut Joseph Thacker, seorang insinyur keamanan ofensif dan peneliti AI terkemuka, pengembang aplikasi AI indie cenderung memiliki lebih sedikit personel keamanan, lebih sedikit pengawasan hukum, dan berkurangnya fokus pada kepatuhan.
Thacker mengkategorikan risiko yang terkait dengan alat AI indie ke dalam beberapa bidang utama. Yang pertama dan terpenting adalah risiko kebocoran data. Yang paling memprihatinkan adalah alat AI generatif yang memanfaatkan model bahasa besar (LLM), karena alat tersebut sering kali memiliki akses luas ke perintah yang dimasukkan oleh pengguna. Bahkan model terkenal seperti ChatGPT pun pernah mengalami kebocoran data. Sebagian besar alat AI indie tidak memiliki standar keamanan ketat yang ditegakkan oleh organisasi seperti OpenAI, sehingga data yang mereka kumpulkan rentan terhadap paparan. Praktik umum dalam menyimpan perintah untuk tujuan pelatihan dan proses debug meningkatkan risiko penyusupan data.
Risiko signifikan lainnya terletak pada masalah kualitas konten, khususnya LLM yang rentan terhadap halusinasi. Halusinasi ini terjadi ketika LLM menghasilkan keluaran yang tidak masuk akal atau tidak akurat, mengamati pola atau objek yang tidak ada bagi pengamat manusia. Organisasi yang mengandalkan LLM untuk pembuatan konten tanpa tinjauan manusia yang kuat dan protokol pengecekan fakta berisiko menyebarkan informasi yang tidak akurat. Kekhawatiran etis mengenai pengungkapan kepengarangan AI juga telah dikemukakan oleh kelompok-kelompok seperti akademisi dan editor jurnal sains.
Kerentanan juga meluas ke produk itu sendiri, dengan alat AI indie yang cenderung mengabaikan kelemahan keamanan umum. Masalah seperti injeksi cepat dan kerentanan tradisional termasuk SSRF, IDOR, dan XSS lebih banyak terjadi di organisasi-organisasi kecil ini. Kurangnya penekanan dalam mengatasi kerentanan ini meningkatkan risiko potensi eksploitasi.
Kepatuhan adalah salah satu bidang di mana startup AI indie sering kali gagal. Tidak adanya kebijakan privasi dan peraturan internal yang matang menempatkan pengguna pada risiko menghadapi denda dan penalti yang besar karena masalah ketidakpatuhan. Industri atau wilayah dengan peraturan data SaaS yang ketat, seperti SOX, ISO 27001, NIST CSF, NIST 800-53, dan APRA CPS 234, mungkin mendapati staff melakukan pelanggaran saat menggunakan alat yang tidak mematuhi standar ini. Selain itu, banyak vendor AI indie yang belum mencapai kepatuhan SOC 2, yang semakin menyoroti ketidakpatuhan mereka terhadap kerangka kerja yang telah ditetapkan.
Singkatnya, vendor AI indie, yang didorong oleh daya tarik aplikasi mereka, sering kali mengabaikan kerangka kerja dan protokol keamanan penting. Kekurangan ini menjadi sangat jelas ketika alat AI mereka diintegrasikan ke dalam sistem SaaS perusahaan, sehingga membuat organisasi menghadapi risiko keamanan yang lebih tinggi.
Menghubungkan AI Indie ke Aplikasi SaaS Perusahaan Meningkatkan Produktivitas — dan Kemungkinan Serangan Backdoor
Staff mengalami peningkatan substansial atau merasakan peningkatan produktivitas melalui penggunaan alat AI. Saat mereka berupaya untuk meningkatkan keuntungan ini, kemajuan alaminya adalah dengan mengintegrasikan AI dengan sistem SaaS yang mereka gunakan sehari-hari, seperti Google Workspace, Salesforce, atau M365. Alat AI indie, yang mengandalkan pertumbuhan organik dari mulut ke mulut dibandingkan strategi pemasaran konvensional, secara aktif mendorong integrasi tersebut ke dalam produk, sehingga menyederhanakan proses bagi pengguna.
Artikel Hacker News yang membahas risiko keamanan terkait dengan AI generatif memberikan contoh ilustratif. Seorang staff, yang bertujuan untuk mengoptimalkan manajemen waktu, mengadopsi asisten penjadwalan AI yang memantau dan menganalisis manajemen tugas dan rapat mereka. Namun, agar asisten penjadwalan AI dapat memenuhi perannya secara efektif, asisten tersebut harus menjalin koneksi dengan alat seperti Slack, Gmail perusahaan, dan Google Drive. Metode utama untuk koneksi AI-ke-SaaS ini melibatkan penggunaan token akses OAuth, yang memfasilitasi komunikasi berbasis API yang berkelanjutan antara alat AI dan platform seperti Slack, Gmail, dan Google Drive.

Sifat tautan AI-ke-SaaS yang saling terhubung, serupa dengan koneksi SaaS-ke-SaaS, mewarisi pengaturan izin pengguna. Hal ini menimbulkan risiko keamanan yang cukup besar, terutama karena banyak alat AI indie yang mematuhi standar keamanan yang lemah. Pelaku kejahatan sering kali menargetkan alat ini sebagai pintu gerbang untuk mengakses sistem SaaS yang terhubung, yang sering kali menampung data penting perusahaan.
Ketika pelaku ancaman mengeksploitasi entri pintu belakang ini ke dalam lingkungan SaaS organisasi, mereka dapat dengan bebas mengakses dan mengekstrak data hingga aktivitas mereka terdeteksi. Sayangnya, aktivitas mencurigakan seperti itu bisa luput dari perhatian dalam jangka waktu lama, contohnya pelanggaran data CircleCI pada Januari 2023 yang membutuhkan waktu sekitar dua minggu antara eksfiltrasi data dan pengungkapan publik. Untuk memitigasi meningkatnya risiko pelanggaran data SaaS, organisasi harus menerapkan alat manajemen postur keamanan (SSPM) SaaS yang kuat. Alat-alat ini memainkan peran penting dalam memantau koneksi AI-ke-SaaS yang tidak sah dan mendeteksi potensi ancaman, seperti pola pengunduhan file skala besar yang tidak biasa. Meskipun SSPM merupakan bagian integral dari program keamanan SaaS yang komprehensif, SSPM harus melengkapi, bukan menggantikan prosedur dan protokol peninjauan yang ada.
Cara Praktis Mengurangi Risiko Keamanan Alat AI Indie
Setelah mengeksplorasi risiko AI indie, Thacker merekomendasikan CISO dan tim keamanan siber untuk fokus pada hal-hal mendasar dalam mempersiapkan organisasi mereka untuk menggunakan alat AI:
1. Prioritaskan Uji Tuntas Standar:
Mulailah dengan langkah-langkah dasar untuk suatu tujuan. Sangat penting untuk menugaskan anggota tim atau perwakilan hukum untuk meninjau secara menyeluruh persyaratan layanan untuk setiap alat AI yang diminta oleh staff. Meskipun hal ini mungkin bukan tindakan yang aman dari potensi pelanggaran atau kebocoran data, penting untuk diketahui bahwa vendor indie mungkin membesar-besarkan detail untuk menenangkan pelanggan perusahaan. Namun, pemahaman yang komprehensif tentang ketentuan-ketentuan tersebut akan memainkan peran penting dalam membentuk strategi hukum jika vendor AI melanggar ketentuan layanan.
2. Eksplorasi penerapan atau perubahan kebijakan terkait aplikasi dan data:
Pertimbangkan pengenalan atau penyempurnaan kebijakan aplikasi dan data dalam kerangka organisasi Anda. Kebijakan aplikasi dapat menawarkan pedoman eksplisit dan transparansi dengan menggunakan “daftar yang diizinkan” secara langsung untuk alat AI yang berasal dari penyedia SaaS perusahaan yang sudah mapan, dan mengkategorikan alat apa pun yang dikecualikan sebagai “tidak diizinkan”. Alternatifnya, kebijakan data dapat menentukan jenis data yang diperbolehkan untuk dimasukkan ke dalam alat AI, seperti pelarangan penggunaan kekayaan intelektual atau pembagian data antara sistem SaaS dan aplikasi AI.
3. Mendedikasikan diri pada Pelatihan dan Pendidikan Staff Berkelanjutan:
Sadarilah bahwa sejumlah besar staff yang mencari alat AI indie tidak memiliki niat jahat; sebaliknya, mereka mungkin tidak menyadari potensi risiko yang terkait dengan penggunaan AI tanpa izin. Sesi pelatihan reguler sangat penting dalam memberikan pencerahan kepada staff tentang realitas kebocoran data, pelanggaran, dan kompleksitas koneksi AI-ke-SaaS. Sesi ini juga berfungsi sebagai peluang strategis untuk mengartikulasikan dan memperkuat kebijakan organisasi dan proses peninjauan perangkat lunak.
4. Ajukan Pertanyaan Penting dalam Penilaian Vendor:
Gunakan tingkat pengawasan yang sama seperti saat mengevaluasi perusahaan dalam penilaian alat AI indie. Proses komprehensif ini harus mencakup evaluasi terhadap postur keamanan vendor dan kepatuhan terhadap undang-undang privasi data. Selama interaksi antara tim peminta dan vendor, jawab pertanyaan penting yang berkaitan dengan integrasi alat, sehingga menumbuhkan pemahaman menyeluruh tentang implikasinya.
- Siapa yang akan mengakses alat AI? Apakah terbatas pada individu atau tim tertentu saja? Akankah kontraktor, mitra, dan/atau pelanggan memiliki akses?
- Individu dan perusahaan mana yang memiliki akses terhadap perintah yang dikirimkan ke alat ini? Apakah fitur AI bergantung pada pihak ketiga, penyedia model, atau model lokal?
- Apakah alat AI menggunakan atau menggunakan masukan eksternal? Apa yang akan terjadi jika muatan injeksi cepat dimasukkan ke dalamnya? Apa dampaknya?
- Bisakah alat tersebut mengambil tindakan penting, seperti perubahan pada file, pengguna, atau objek lainnya?
- Apakah alat AI memiliki fitur yang berpotensi menimbulkan kerentanan tradisional (seperti SSRF, IDOR, dan XSS yang disebutkan di atas)? Misalnya, apakah prompt atau output dirender di tempat XSS dimungkinkan? Apakah fungsi pengambilan web memungkinkan masuknya host internal atau IP metadata cloud?
5. Kembangkan Hubungan dan Tingkatkan Aksesibilitas untuk Tim dan Kebijakan Anda:
Chief Information Security Officers (CISO), tim keamanan, dan mereka yang bertanggung jawab menjaga keamanan AI dan SaaS perlu memposisikan diri mereka sebagai mitra kolaboratif ketika membimbing para pemimpin bisnis dan timnya melalui bidang AI. Elemen dasar bagaimana CISO meningkatkan keamanan menjadi prioritas bisnis melibatkan pembentukan hubungan yang kuat, komunikasi yang efektif, dan penyediaan pedoman yang mudah diakses.
Menyampaikan dampak kebocoran dan pelanggaran data terkait AI dalam hal kerugian finansial dan hilangnya peluang membantu tim bisnis lebih memahami pentingnya risiko keamanan siber. Meskipun peningkatan komunikasi sangat penting, hal ini hanya mewakili satu aspek dari strategi. Mungkin ada kebutuhan untuk menyempurnakan cara tim Anda berkolaborasi dengan bisnis.
Baik dalam memilih daftar permohonan atau data yang diperbolehkan, atau kombinasi keduanya, pedoman ini harus diartikulasikan dengan jelas secara tertulis dan mudah diakses serta dipromosikan. Ketika staff mendapat informasi yang baik tentang data yang diizinkan ke dalam Model Bahasa Besar (LLM) atau vendor yang diberi sanksi untuk alat AI, tim Anda akan lebih cenderung dianggap sebagai pendukung kemajuan, bukan sebagai penghalang. Jika pemimpin atau staff mencari alat AI yang berada di luar batasan yang ditetapkan, mulailah percakapan untuk memahami tujuan dan sasaran mereka. Dengan menunjukkan minat terhadap perspektif dan kebutuhan mereka, Anda menciptakan lingkungan di mana mereka lebih cenderung berkolaborasi dengan tim Anda dalam memilih alat AI yang sesuai daripada bertualang secara mandiri dengan vendor AI indie.
Strategi paling efektif untuk menjaga keamanan jangka panjang tumpukan SaaS Anda dari alat AI melibatkan pengembangan lingkungan di mana bisnis memandang tim Anda sebagai sumber daya yang berharga dan bukan sebagai penghalang.
Sumber :
https://thehackernews.com/2023/11/ai-solutions-are-new-shadow-it.html
https://www.securitymagazine.com/articles/98795-shadow-it-risk-a-dangerous-connection
https://renaissancerachel.com/best-ai-security-tools/
https://appomni.com/resources/articles-and-whitepapers/the-risks-of-oauth-tokens-and-third-party-apps-to-saas-security/?utm_medium=publication&utm_source=hacker-news&utm_campaign=11.22.23
https://www.balbix.com/insights/artificial-intelligence-in-cybersecurity/
https://www.hostpapa.com/blog/web-hosting/the-most-useful-tools-for-ai-machine-learning-in-cybersecurity/
https://www.linkedin.com/pulse/5-ai-tools-cybersecurity-audits-priya-ranjani-mohan
https://www.wiu.edu/cybersecuritycenter/cybernews.php