Sistem Keamanan Baru Microsoft Hadirkan Fitur Deteksi Halusinasi di Azure AI

gospelangolano.com, JAKARTA — Microsoft telah mengembangkan beberapa fitur keamanan baru yang akan lebih mudah digunakan oleh pelanggan Azure. Microsoft mengatakan alat yang didukung LLM ini dapat mendeteksi potensi kerentanan dengan memantau eksploitasi yang “dapat diterima tetapi tidak didukung”.

Azure AI memblokir permintaan berbahaya secara real-time untuk pelanggan yang bekerja dengan modul apa pun yang dihosting di platform. Tidak semua klien memiliki keterampilan untuk mendeteksi serangan injeksi atau konten berbahaya dengan cepat, kata Sarah Bird, direktur produk AI.

“Jadi sistem evaluasi menghasilkan instruksi yang diperlukan untuk mensimulasikan serangan jenis ini, sehingga pelanggan dapat menilai dan melihat hasilnya,” ujarnya, seperti dilansir The Verge, Jumat (29/3/2024).

Hal ini membantu menghindari konflik AI yang disebabkan oleh respons yang tidak diinginkan atau tidak terduga. Ini serupa dengan respons Microsoft Designer, Google Gemini, dan Bing Image Generator.

Fitur Prompt Shields memblokir perintah berbahaya dari skrip eksternal. Fitur deteksi tanah mengekspos dan memblokir. Fitur Penilaian Keamanan mengevaluasi kerentanan model, sekarang dalam pratinjau di Azure AI.

Dua fitur lainnya menandai pengguna yang bermasalah untuk mengarahkan model ke produk yang lebih aman dan petunjuk tindak lanjut. Microsoft telah beralih ke AI untuk meningkatkan keselamatan dan keamanan perangkat lunaknya.

Hal ini terutama karena semakin banyak pelanggan yang tertarik menggunakan Azure untuk mengakses model AI. Perusahaan juga berupaya memperluas jumlah model AI canggih yang disediakannya. Alat terbaru adalah menandatangani perjanjian eksklusif dengan perusahaan AI Perancis, Mistral. Tujuannya adalah untuk menawarkan modul Mistral besar di Azure.