رسانه مصنوعی: تهدید روزافزون محتوای ساخته‌شده با هوش مصنوعی

خطرات روزافزون رسانه مصنوعی, ویدیوی دیپ‌فیک، تصاویر ساخته‌شده با هوش مصنوعی، صداهای کلون‌شده و متون ساختگی, را بررسی کنید و بیاموزید چگونه از خود در برابر این تهدید در حال تکامل محافظت کنید.

· Truvizy Research Team · 8 min read

TL;DR

رسانه مصنوعی تمام محتوای ساخته‌شده با هوش مصنوعی را در بر می‌گیرد, ویدیوهای دیپ‌فیک، صداهای کلون‌شده، تصاویر ساختگی و متن ماشین‌نوشته. در سال ۲۰۲۶، این فناوری به اندازه‌ای قابل دسترس، مقرون‌به‌صرفه و باورپذیر شده که برای افراد، کسب‌وکارها و نهادهای دموکراتیک تهدیدآفرین است. حفاظت نیازمند ترکیب ابزارهای تشخیص مبتنی بر هوش مصنوعی، سواد رسانه‌ای و عادات تأیید است.

ما وارد دوران جدیدی شده‌ایم که در آن فرض اساسی زیربنای همه رسانه‌ها, که یک عکس نشان می‌دهد چیزی اتفاق افتاده، که یک ضبط صوتی چیزی را که گفته شده ضبط می‌کند، که یک ویدیو چیزی را که رخ داده مستند می‌کند, دیگر نمی‌توان آن را مسلم دانست. رسانه مصنوعی، محتوایی که توسط هوش مصنوعی ایجاد یا به طور اساسی تغییر یافته، از یک کنجکاوی نمایشی در کنفرانس‌های تحقیقاتی به تهدیدی فراگیر تبدیل شده.

اصطلاح رسانه مصنوعی طیف گسترده‌ای را در بر می‌گیرد: ویدیوهای دیپ‌فیک که کلمات را در دهان مردم می‌گذارند، عکس‌های ساخته‌شده با هوش مصنوعی از افرادی که هرگز وجود نداشته‌اند، صداهای کلون‌شده که از افراد واقعی تقلید می‌کنند و متن ماشین‌نوشته که از تألیف انسانی تقلید می‌کند.

تعریف رسانه مصنوعی

رسانه مصنوعی ذاتاً مخرب نیست. همان فناوری‌ای که کلاهبرداری دیپ‌فیک ایجاد می‌کند، برنامه‌های کاربردی قانونی را نیز تأمین می‌کند: استودیوهای فیلم از هوش مصنوعی برای جوان‌سازی بازیگران استفاده می‌کنند، ابزارهای دسترسی برای افرادی که قدرت صحبت را از دست داده‌اند صداها را کلون می‌کنند و متخصصان خلاق از تولید تصویر با هوش مصنوعی در فرآیند هنری خود استفاده می‌کنند.

مشکل این است که برنامه‌های مخرب از اقدامات حفاظتی پیشی گرفته‌اند. محققان تخمین می‌زنند که حجم رسانه مصنوعی آنلاین بین سال‌های ۲۰۲۳ تا ۲۰۲۵ بیش از ۹۰۰ درصد افزایش یافته است.

تهدید ویدیوی دیپ‌فیک

فناوری ویدیوی دیپ‌فیک از جعل‌های آشکار به شبیه‌سازی‌های نزدیک به کامل پیشرفت کرده است. ابزارهای نسل فعلی می‌توانند در زمان واقعی در طول تماس‌های ویدیویی زنده چهره‌ها را تعویض کنند، دیپ‌فیک‌های تمام‌بدن تولید کنند و فیلم‌های مصنوعی ایجاد کنند که در چند دقیقه ویدیوی پیوسته ثبات را حفظ می‌کنند.

تهدید در چند دسته متمایز خود را نشان می‌دهد. کلاهبرداری مالی از ویدیوی دیپ‌فیک برای جعل هویت مدیران در کنفرانس‌های ویدیویی و مجوز دادن به تراکنش‌های متقلبانه استفاده می‌کند. چندین مورد با ضررهای بیش از ۱۰ میلیون دلار مستند شده است.

حملات اعتباری ویدیوهای ساختگی از چهره‌های عمومی, سیاستمداران، رهبران تجاری، مشاهیر, ایجاد می‌کنند که چیزهایی می‌گویند یا می‌کنند که هرگز نگفته‌اند یا نکرده‌اند. این ویدیوها می‌توانند قبل از تکذیب سریع‌تر از تصحیح گسترش یابند.

نمونه‌هایی از پیشرفت فناوری دیپ‌فیک از ۲۰۲۰ تا ۲۰۲۶
نمونه‌هایی از پیشرفت فناوری دیپ‌فیک از ۲۰۲۰ تا ۲۰۲۶

محتوای صمیمانه غیر رضایتمندانه مخرب‌ترین کاربرد شخصی است. هوش مصنوعی می‌تواند از عکس‌های معمولی تصاویر صمیمانه واقع‌گرایانه از هر شخصی تولید کند. این محتوا برای آزار، اخاذی و سوءاستفاده استفاده می‌شود.

کلاهبرداری عاشقانه و هویتی از ویدیوی دیپ‌فیک برای حفظ شخصیت‌های جعلی استفاده می‌کند. کلاهبرداران اکنون می‌توانند با استفاده از تعویض چهره در زمان واقعی تماس‌های ویدیویی زنده برقرار کنند.

به ویدیو یا تصویری مشکوک هستید؟ آن را برای نشانه‌های دستکاری دیپ‌فیک اسکن کنید.

صدای مصنوعی و کلون صدا

فناوری کلون صدا شاید فوری‌ترین پیامدهای قابل بهره‌برداری را در میان تمام دسته‌های رسانه مصنوعی داشته باشد. یک کلون صدای متقاعدکننده می‌تواند از یک نمونه صوتی کوتاه, به کوتاهی سه ثانیه, ایجاد شود و در مکالمات تلفنی در زمان واقعی استفاده شود.

کاربردها در کلاهبرداری مستقیم و مخرب هستند. تماس‌های تلفنی با صدای کلون‌شده که خود را به عنوان اعضای خانواده، مدیران و مقامات معرفی می‌کنند منجر به ضررهای مالی قابل توجهی شده‌اند. این حمله موفق می‌شود زیرا صدای انسانی یکی از قابل‌اعتمادترین سیگنال‌های شناسایی ماست.

دیپ‌فیک‌های صوتی همچنین برای ایجاد شواهد ساختگی استفاده می‌شوند. ضبط‌های جعلی از مکالماتی که هرگز اتفاق نیفتاده می‌توانند در اختلافات قانونی استفاده شوند. برای بررسی دقیق‌تر نحوه تحول کلون صدا در کلاهبرداری‌های تلفنی، مقاله ما درباره کلاهبرداری‌های روبوکال و نحوه متوقف کردن آنها را بخوانید.

تصاویر ساخته‌شده با هوش مصنوعی در مقیاس بزرگ

تولید تصویر با هوش مصنوعی به سطحی از کیفیت رسیده که تصاویر تولیدشده به طور منظم به عنوان عکس‌های اصیل تشخیص داده می‌شوند. این توانایی در چندین دسته از کلاهبرداری مورد سوءاستفاده قرار می‌گیرد.

ایجاد پروفایل جعلی در مقیاس صنعتی اکنون ممکن است. کلاهبرداران عاشقانه، عملیات‌های اطلاعات نادرست و کمپین‌های مهندسی اجتماعی از هوش مصنوعی برای تولید عکس‌های پروفایل منحصربه‌فرد و فوتورئالیستی برای حساب‌های جعلی استفاده می‌کنند.

تصاویر جعلی محصول و نظرسنجی اعتماد به تجارت الکترونیک را تضعیف می‌کند. تصاویر خبری و تبلیغاتی جعلی «شواهد» بصری برای رویدادهایی که هرگز اتفاق نیفتاده ایجاد می‌کند.

یک عکس تکان‌دهنده در شبکه‌های اجتماعی می‌بینید که یک چهره سیاسی را در موقعیت بدی نشان می‌دهد. تصویر کاملاً واقعی به نظر می‌رسد. بهترین اولین قدم چیست؟

  1. فوراً آن را به اشتراک بگذارید, مردم باید بدانند
  2. قبل از باور یا به اشتراک‌گذاری بررسی کنید آیا داستان توسط چندین رسانه خبری معتبر گزارش شده
  3. فرض کنید دیپ‌فیک است و کاملاً نادیده بگیرید
  4. در پست نظر بگذارید و بپرسید آیا واقعی است

Answer: هرگز محتوای تکان‌دهنده را قبل از تأیید از طریق منابع معتبر متعدد به اشتراک نگذارید. تصاویر ساخته‌شده با هوش مصنوعی اکنون می‌توانند کاملاً واقعی به نظر برسند. اگر رسانه‌های خبری معتبر داستان را گزارش نمی‌کنند، ممکن است ساختگی باشد.

ماشین اطلاعات نادرست

شاید گسترده‌ترین تأثیر رسانه مصنوعی بر خود اکوسیستم اطلاعات باشد. وقتی هر قطعه محتوا, هر عکس، هر ویدیو، هر ضبط صوتی, می‌تواند توسط هوش مصنوعی ایجاد شده باشد، مفهوم شواهد مستند شروع به تحلیل می‌کند. این یک پارادوکس ایجاد می‌کند که محققان آن را «سود دروغگو» می‌نامند: صرف وجود فناوری دیپ‌فیک اجازه می‌دهد محتوای واقعی توسط کسانی که آن را ناخوشایند می‌یابند به عنوان جعلی رد شود.

ترکیب متن، تصاویر، صدا و ویدیوی ساخته‌شده با هوش مصنوعی همچنین کمپین‌های رسانه مصنوعی کامل را امکان‌پذیر می‌کند. یک وب‌سایت خبری کامل با روزنامه‌نگاران ساخته‌شده با هوش مصنوعی، مقالات ماشین‌نوشته با عکس‌های تولیدشده با هوش مصنوعی می‌تواند در چند روز ایجاد شود.

اینفوگرافیک نشان‌دهنده اکوسیستم ایجاد رسانه مصنوعی و تأثیر آن بر اعتماد
اینفوگرافیک نشان‌دهنده اکوسیستم ایجاد رسانه مصنوعی و تأثیر آن بر اعتماد

پیامدهای دنیای واقعی

پیامدهای رسانه مصنوعی نظری نیستند. تنها در دو سال گذشته، ویدیوهای دیپ‌فیک برای دستکاری انتخابات در چندین کشور استفاده شده‌اند. کلاهبرداری شرکتی با استفاده از جعل هویت مدیران دیپ‌فیک منجر به خسارات مستند بیش از ۲۰۰ میلیون دلار در سطح جهانی شده است.

سیستم قضایی در حال تلاش برای همگامی است. بازارهای مالی هدف روزافزونی هستند. بیانیه‌های مدیران ساختگی، اعلامیه‌های درآمد جعلی و تفسیر تحلیلگران مصنوعی می‌توانند قیمت سهام را قبل از تأیید تغییر دهند. همان‌طور که در مقاله ما درباره چگونگی خطرناک‌تر کردن کلاهبرداری‌ها توسط هوش مصنوعی بررسی شده، انگیزه‌های مالی برای ایجاد رسانه مصنوعی متقاعدکننده عظیم و در حال رشد هستند.

تشخیص و دفاع

دفاع در برابر رسانه مصنوعی نیازمند رویکردی چندلایه است که فناوری، آموزش و شیوه‌های سازمانی را ترکیب می‌کند.

ابزارهای تشخیص مبتنی بر هوش مصنوعی امیدوارکننده‌ترین دفاع فنی هستند. این سیستم‌ها محتوا را برای اثرانگشت‌های آماری تولید هوش مصنوعی تحلیل می‌کنند, الگوهایی در توزیع پیکسل، ویژگی‌های طیفی صدا، ناسازگاری‌های زمانی در ویدیو و امضاهای زبانی در متن.

پلتفرم اسکن Truvizy این قابلیت‌های تشخیص را در اختیار کاربران روزمره قرار می‌دهد. با تحلیل تصاویر، ویدیو و سایر رسانه‌ها از طریق لایه‌های تشخیص متعدد، نشانه‌های تولید و دستکاری هوش مصنوعی را شناسایی می‌کند.

استانداردهای منشأ محتوا مانند C2PA با ایجاد سوابق قابل تأیید از نحوه ایجاد و تغییر محتوا راه‌حل ساختاری ارائه می‌دهند. پروتکل‌های تأیید برای تصمیمات حساس دفاع سازمانی ارائه می‌دهند. آموزش سواد رسانه‌ای انعطاف‌پذیری فردی ایجاد می‌کند.

Key Takeaways

دفاع مبتنی بر هوش مصنوعی در برابر دیپ‌فیک‌ها، کلون‌های صدا و رسانه مصنوعی دریافت کنید.

طرح‌های حفاظتی Truvizy تحلیل رسانه مبتنی بر هوش مصنوعی را در دسترس افرادی قرار می‌دهد که روزانه باید تصمیمات اعتماد درباره محتوای دیجیتال بگیرند.

چگونه ویدیوی دیپ‌فیک را تشخیص دهیم — نشانه‌های بصری و ابزارهای هوش مصنوعی برای شناسایی ویدیوی دستکاری‌شده

چگونه اصالت ویدیو را تأیید کنیم — روش‌های گام‌به‌گام برای تأیید واقعی بودن محتوای ویدیو

چگونه بفهمیم محتوا با هوش مصنوعی ساخته شده — راهنمای تشخیص عملی برای متن، تصویر و ویدیو

FAQ

رسانه مصنوعی چیست؟

رسانه مصنوعی هر محتوایی است, متن، تصویر، صدا یا ویدیو, که با استفاده از هوش مصنوعی ایجاد یا به طور قابل توجهی تغییر یافته است. این شامل ویدیوهای دیپ‌فیک، عکس‌های تولیدشده با هوش مصنوعی، صداهای کلون‌شده و مقالات ماشین‌نوشته می‌شود.

ویدیوهای دیپ‌فیک در سال ۲۰۲۶ تا چه حد واقع‌گرایانه هستند؟

فناوری دیپ‌فیک فعلی می‌تواند ویدیویی تولید کند که در شرایط مشاهده عادی عملاً از فیلم واقعی قابل تشخیص نباشد. دیپ‌فیک‌های با کیفیت بالا می‌توانند بازرسی معمولی را رد کنند، اگرچه هنوز حاوی نشانه‌هایی قابل تشخیص توسط ابزارهای تحلیل هوش مصنوعی هستند.

آیا ساخت دیپ‌فیک غیرقانونی است؟

قانونی بودن آن بسته به حوزه قضایی و هدف متفاوت است. بسیاری از ایالت‌ها قوانینی علیه دیپ‌فیک‌های صمیمانه غیر رضایتمندانه و دیپ‌فیک‌های مرتبط با انتخابات دارند. استفاده از دیپ‌فیک برای کلاهبرداری تحت قوانین موجود کلاهبرداری غیرقانونی است.

سازمان‌ها چگونه می‌توانند از حملات دیپ‌فیک محافظت کنند؟

سازمان‌ها باید پروتکل‌های تأیید برای درخواست‌های حساس (به ویژه تراکنش‌های مالی) پیاده‌سازی کنند، کارکنان را آموزش دهند، از ابزارهای تشخیص مبتنی بر هوش مصنوعی استفاده کنند و روش‌های تأیید خارج از کانال برای درخواست‌های غیرمعمول از مدیران یا شرکای کاری ایجاد کنند.

C2PA چیست و چگونه کمک می‌کند؟

C2PA (ائتلاف برای منشأ محتوا و اصالت) یک استاندارد فنی است که سوابق رمزنگاری منشأ را در محتوای دیجیتال جاسازی می‌کند و یک زنجیره حضانت قابل تأیید از ایجاد تا توزیع ایجاد می‌کند. در صورت وجود، فراداده C2PA می‌تواند تأیید کند محتوا چگونه و کجا ایجاد شده.