هوش مصنوعی و انواع آن-4
مخاطرات و تهدیدات امنیتی چت بات ها و مدل های دستیار مبتنی هوش مصنوعی
هوش مصنوعی و انواع آن-4
مخاطرات و تهدیدات امنیتی چت بات ها
و مدل های دستیار مبتنی هوش مصنوعی
مسائل امنیتی
برای اطمینان از حریم خصوصی و امنیت کاربر، پنج نوع داده کلیدی که نباید با چتبات هوش مصنوعی به اشتراک گذاشته شود:
- جزئیات مالی؛
- افکار شخصی و خصوصی؛
- رمزهای عبور در چت بات هوش مصنوعی؛
- جزئیات محل سکونت؛
- اطلاعات شخصی:
- شماره ملی، آدرس منزل، شماره تلفن؛
- اطلاعات پزشکی و سوابق درمانی؛
- اطلاعات مالی و بانکی
- شماره کارتهای اعتباری؛
- رمزهای عبوربانکی و اطلاعات حساب؛
اطلاعات محرمانه سازمانی و کاری:
- اسناد محرمانه شرکتها؛
- کدهای پروژههای نرمافزاری؛
- اطلاعات ورود(لاگین) در سامانههای داخلی؛
اطلاعاتامنیتی:
- رمزهایعبورشخصی؛
- کلیدهای API و توکنهای دسترسی؛
مکالمات حساس سیاسی یا امنیتی:
انتقادات سیاسی که ممکن است توسط نهادهای نظارتی رصد شود؛
چتباتهایی مانند ChatGPT وGemini گوگل بسیار محبوب هستند؛ زیرا میتوانند پاسخهای شبیه به انسان تولید کنند؛ وابستگی آنها به مدلهای زبان بزرگ یا LLM با خطرات حریم خصوصی و امنیتی همراه است؛
آسیبپذیریها:
اطلاعات شخصی درحین تعامل به اشتراک گذاشته میشود و در معرض سواستفاده قرار میگیرد؛
شیوههایجمعآوریداده:
چتباتهای هوشمصنوعی از دادههای آموزشی وسیعی استفاده میکنند که ممکن است تعاملات کاربران را در بربگیرد؛
شرکتهایی مانند OpenAI به کاربران این امکان را میدهند که از جمعآوری دادهها انصراف دهند، اما تضمین کامل حریم خصوصی چالش برانگیز است؛
آسیبپذیریهایسرور:
دادههای ذخیره شده کاربران مستعد حملات هکری هستند؛
مجرمان سایبری ممکن است این اطلاعات را سرقت و برای اهداف مخرب از آنها سواستفاده کنند
… دسترسی شخصثالث:
دادههای تعامل کاربران با چتبات هوشمصنوعی احتمالا با ارائه دهندگان خدمات شخص ثالث به اشتراک گذاشته میشود؛
پرسنل مجاز امکان دسترسی به آنها را پیدا میکنند؛ و این امر خطر نقض حریمخصوصی را افزایش میدهد؛
عدم استفاده تبلیغاتی:
درحالی که شرکتها ادعا میکنند دادهها را برای مقاصد بازاریابی نمیفروشند، این دادهها برای نگهداری سیستم و اهداف عملیاتی به اشتراک گذاشته میشود؛
نگرانیهای مربوط به هوشمصنوعی مولد:
üمنتقدان براین باورند که پذیرش روز افزون هوشمصنوعی مولد ممکن است خطرات امنیتی و حریمخصوصی را تشدید کند.
مشکلات امنیتی استفاده از چتباتها و مدلهای هوشمصنوعی مولد
1( ذخیره و پردازش دادههای کاربران
بسیاری از چتباتها برای بهبود عملکرد خود، دادههای کاربران را ذخیره و تحلیل میکنند؛
افشایاطلاعاتمحرمانه:
اگر کاربر اطلاعات شخصی یا سازمانی را با چتبات به اشتراک بگذارد، ممکناست این دادهها در سرورهای آن شرکت ذخیره شود و در آینده مورد سوءاستفاده قرار گیرد.
دسترسیاشخاصثالث:
برخی از شرکتها ممکن است دادههای کاربران را به اشخاص ثالث بفروشند یا در صورت نقض امنیتی، این اطلاعات دراختیار هکرها قرار گیرد.
2( خطر فیشینگ و مهندسی اجتماعی
چتباتهای مخرب یا حتی قانونی که توسط هکرها دستکاری شدهاند، میتوانند برای فریب کاربران و سرقت اطلاعات حساس استفاده شوند؛
جعل هویت:
یک چتبات وانمود میکند که از طرف بانک یا یک سازمان معتبر است و ازکاربر درخواست اطلاعات حساب بانکی یا رمزعبور کند.
ارسال لینکهای مخرب:
برخی چتباتها لینکهای آلوده به بدافزار را ارائه می دهند که منجر به نصب نرم افزارهای جاسوسیشود
3( نقض حریمخصوصی:
در برخی کشورها، دولتها ممکن است از چتباتها برای نظارت برکاربران استفاده کنند؛ ارسال اطلاعات حساس سیاسی یا انتقادی در چتباتها میتواند منجربه شناسایی و پیگرد قانونی شود؛
4( سوءاستفاده از کدها و اسکریپتهای تولید شده:
چتباتهای هوشمصنوعی میتوانند کدهای برنامه نویسی تولید کنند، اما این کدها ممکن است دارای آسیبپذیریهای امنیتی باشند؛
استفاده از چنین کدهایی بدون بررسی دقیق میتواند سامانهها را در معرض حملات سایبری قرار دهد؛
درباره کدهایی که یک چتبات هوشمصنوعی مینویسد یک باور نادرست وجود دارد، کاربران فکر میکنند این کدها کاملا ًدرست، ایمن و بینقص هستند. این کدها باید توسط توسعه دهنده با تجربه بررسی و اصلاح شوند؛
تهدیدات امنیتی
الف(نشت داده و حریم خصوصی
- ذخیره سازی پیامها در سرورهای ابری یا پایگاه داده بدون رمزنگاری مناسب، منجر به نشت دادههای حساس میشود
- امکان استخراج اطلاعات خصوصی کاربران توسط افراد غیرمجاز یا هکرها از طریق حملات سایبری
- اگر چتبات به دادههای ایمیل، شماره تلفن، سوابق پزشکی یا دادههای شغلی دسترسی دارد، در صورت آسیبپذیری میتواند ریسک GDPR و قوانین حفاظت دادهها ایجاد کند
ب( حملات تزریق دستور
- ( Attacks Injection Command) کاربران یا مهاجمان میتوانند دستورات مخرب وارد کنند تا چتبات خروجی ناخواسته، اطلاعات حساس، یا دستورات سیستمی اجرا کند
- امکان تغییر رفتار چتبات برای انجام اقدامات خارج از محدوده وظایف از طریق Injection Prompt Indirect
ج( حملات مهندسی اجتماعی
- مهاجم میتواند با تعامل هدفمند با چتبات، اطلاعات داخلی سیستم یا دادههای سایر کاربران را استخراج کند
- استفاده از چتبات برای فیشینگ و متقاعد کردن کاربران به کلیک روی لینکهای آلوده
د( آسیبپذیری در یکپارچگی با API ها
اگر چتبات به API های مالی یا عملیاتی متصل باشد، امکان سوءاستفاده و ارسال درخواستهای غیرمجاز به این سرویسها وجود دارد
تهدیدات اخلاقی و اجتماعی
الف(تولید محتوای نادرست یا گمراه کننده
- امکان تولید پاسخهای نادرست یا ناقص که کاربران را به تصمیمگیری غلط سوق دهد
- خطر انتشار اطلاعات جعلی یا تحریفشده در صورت استفاده به عنوان منبع پاسخدهی
ب(تولید محتوای نامناسب
در صورت عدم فیلترگذاری، چتبات ممکن است پاسخهای حاوی توهین، تبعیض، یا مطالب غیراخلاقی ارائه کند
ج(نقض مالکیت فکری
ü احتمال تولید پاسخهایی که حاوی محتوای دارای کپیرایت یا مالکیت معنوی دیگران باشد
تهدیدات عملیاتی و فنی
الف( هزینههای پردازش و حملات
- (DoS )Denial of Service اگر چتبات بدون محدودیت به API های پردازشی مدلهای سنگین متصل باشد، میتواند هدف حملات ارسال درخواستهای مکرر (Flooding) قرار گیرد و منابع سیستم را مصرف کند.
- امکان افزایش هزینههای پردازش ابری بدون کنترل
ب( خرابیهای مدل (Failure Model)
- در برخی سناریوها مدل زبانی، ممکن است نتواند پاسخ مناسبی تولید کند و کاربران را دچار سردرگمی کند
- به روزرسانی مدل بدون آزمون میتواند به خرابی در جریانهای کاری متصل به چتبات منجر شود
ج(مشکلات سازگاری و بهروزرسانی
چتباتهایی که به API های خارجی متکی هستند، در صورت تغییر نسخه API یا تغییر در ساختار پاسخها، ممکن است از کار بیفتند.
تهدیدات مربوط به بایاس یا سوگیری
- Bias)) مدلهای زبانی ممکن است دارای بایاسهای نژادی، جنسیتی یا فرهنگی باشند که به پاسخهای تبعیضآمیز منجر میشود.
- تقویت بایاسها در پاسخها ممکن است آسیب اعتباری به سازمان وارد کند.
تهدیدات حقوقی و تطبیق با قوانین
- عدم رعایت قوانین حفاظت از داده مانند GDPR، قانون حفاظت از دادههای سلامت HIPAA ممکن است منجر به جرایم حقوقی و جریمههای مالی سنگین شود
- ایجاد ریسکهای حقوقی و ادعاهای قضایی در استفاده از چتبات در حوزههای حساس )پزشکی، حقوقی( بدون نظارت انسانی؛
تهدیدات مربوط به اعتماد کاربران چتباتهای دستیار اگر پاسخهای بیکیفیت، ناهماهنگ یا اشتباه بدهند، اعتماد کاربران به سازمان کاهش مییابد و اگر کاربر تصور کند پاسخ اشتباه چتبات، دیدگاه رسمی سازمان است امکان سوءاستفاده از شخصیت و برند سازمانوجود خواهد داشت.
جدول تحلیل ریسک و سطح شدت هر تهدید برای مدیریت ریسک سازمانی برای چت بات دستیار هوش مصنوعی
جمعبندی؛
- راهکارهای کاهش ریسک، مخاطرات و تهدیدات:
- استفاده از رمزنگاری دادهها در API RESTful و دیتابیس؛
- تعریف محدودیت نرخ (Limit Rate )برای جلوگیری از سوءاستفاده؛
- پیادهسازی فیلترهای محتوایی و بررسی اخلاقی پاسخها؛
- استفاده از Shielding Prompt و دستورهای محافظ برای جلوگیری از تزریق دستور؛
- تست مداوم مدل و بهروزرسانی کنترلشده؛
- اطلاعرسانی به کاربران در مورد حدود پاسخگویی چتبات و استفاده از سلب مسئولیت؛
- رعایت کامل قوانین GDPR، HIPAA و سایر قوانین مرتبط؛
- مانیتورینگ مداوم الگوها برای کشف رفتارهای غیرمعمول؛
- افزایش امنیت و کنترل داده ها، و فراهم کردن سرعت پردازش، هزینه های عملیاتی، و انعطاف پذیری بیشتر؛
- درحالی که بسیاری از دستیارهای متنی وابسته به سرورهای ابری هستند، مدل های لوکال روی سیستم داخلی سازمان یک گزینه قدرتمند برای سازمان ها و کاربران حساس به امنیت و حریم خصوصی ارائه می دهند؛