Bilim Adamları, Yaklaşmakta Olan Deepfake Skandallarıyla Nasıl Savaşıyor?

Sosyal ağlarda geniş çaplı olarak yer almaya başlayan deepfake ses ve video teknolojisinin kaos ve şiddet yaratma potansiyeli bulunuyor. Joe Biden’in (veya başka bir başkan adayı) deepfake teknolojisiyle yapılmış ve 2020’deki seçim gecesinde yarışı bıraktığını duyurduğu bir videoyu ve milyonlarca seçmenin bu video ile oy verme alanlarını terk ettiğini düşünün

Bilgisayar biliminin bu teknolojiyle savaşması gerekiyor. Bu çalışmaların bazıları teknoloji şirketleri içinde, bazıları ise üniversitelerde gerçekleşiyor. USC Bilgi Bilimleri Enstitüsü’ndeki araştırmacılar, deepfake teknolojisiyle yapılmış bir videoyu %96 doğrulukla hızlı bir şekilde tespit etmek için yapay zeka kullanan yeni yazılımlarını duyurdu.

Yazılım, şüpheli bir videonun karelerini üst üste kümeliyor ve bir sinir ağı, bir kareden diğerine kişinin yüzünün çeşitli kısımlarındaki hareketlerdeki tutarsızlıkları inceliyor. Örneğin, üzerinde oynanmamış bir videoda göz kapakları yumuşak ve doğal görünen bir sekansta açılıp kapanırken, deepfake teknolojisi uygulanmış videoda bu çok da doğal olmayan bir şekilde oluyor. Model ayrıca, ağızın etrafındaki alan ve burnun ucu gibi yüzün diğer bölgelerine de bakıyor.

Baş araştırmacı Wael Abd-Almageed, sinir ağının 1.000 manipüle edilmiş videodan oluşan ortak bir set kullanılarak eğitildiğini söylüyor. Videolar, üç ana manipülasyon yönteminin ürünü: deepfake, yüz değiştirme (face swaps) ve Face 2 Face (kişinin gerçek zamanlı olarak başka bir kişinin yüz ifadelerini taklit ediyor gibi görünmesini sağlamak için video çekimlerini modifiye eden bir program). Abd-Almageed, deepfake yaratıcılarının tespitten kaçınmak için sıklıkla video sıkıştırmayı kullanmasından dolayı USC araştırmacılarının modelini videoların hem sıkıştırılmış hem de sıkıştırılmamış sürümleriyle beslediklerini söyledi.

Daha eski tespit etme yöntemleri çok fazla zaman ve hesaplama gücü gerektirecek şekilde videoyu kare kare inceleyerek titizlikle ipuçlarını araştırıyor. USC araştırmacılarının yöntemi ise videonun tümünü bir anda inceliyor. Ayrıca, bir sosyal ağdaki milyonlarca hesapta gerçek zamanlı olarak deepfakeleri izlemek için yeteri kadar kompakt ve verimli.

USC araştırmacıları “Videolardaki Yüz Manipülasyonu Tespiti için Tekrarlayan Döngüsel Stratejiler” olarak tanımladıkları araştırmalarını, Kaliforniya Long Beach’deki Bilgisayar Görüşü ve Model Tanıma konulu IEEE konferansında sundular. Çalışma, Defense Advanced Research Projects Agency (DARPA) MediFor programı tarafından finanse edildi.

USC araştırlamcıları, tespit yöntemlerinin, deepfake yaratıcılarının hazırlıklı olduğu yöntemlerden çok ileride olduğuna inanıyor. Fakat, içerik manipülatörlerinin yeni tespit yöntemleri ortaya çıktıkça sahtecilik yöntemlerini hızla değiştirdiklerini söylüyorlar. Diğer tüm siber tehdit türlerinde olduğu gibi, White Hats (güvenlik uzmanları) ve Black Hats (manipülatörler) arasında bir silahlanma yarışı gelişebilir.

Abd-Almageed, “Şu andaki deepfakeler sadece buzdağının görünen yüzü. Yapay zeka yöntemlerini kullanan manipüle edilmiş video çok büyük bir yanlış bilgi kaynağı haline gelecek.” diyor.

Etiketler