Man füttert eine Software mit ganz vielen Bildern der einen Quelle, in diesem Fall einzelne Frames des original Videos des Musikers und der anderen Quelle. Hier wahrscheinlich einzelne Frames von einer Folge Neo Magazin. Die künstliche Intelligenz analysiert alle Bilder und "erkennt" die Gesichter. Anschließend versucht es selbst Übereinstimmungen zu finden. Also bei Gesichtern besonders verschieden Gesichtsausdrücke und z. B. Augenbewegungen, Mundbewegungen.
So kann es passieren, dass der Musiker in seinem Video zwinkert, jedoch gibt es kein Bild von Jan bei dem er zwinkert. So weiß die KI nicht wie sie das Gesicht anpassen soll und es entstehen Fehler da die KI rät was dann passiert.
Je mehr Bilder man der KI gibt und desto länger sie trainiert wird, desto besser wird das Endergebnis. Das kann von ein paar Minuten bis zu mehreren Tagen dauern.
Eine sehr gute Erklärung! Anzumerken ist noch, dass es nicht primär auf die Anzahl der Bilder ankommt, sondern auf die Qualität und Vielfalt der zu deepfakenden Person. Je mehr gute und verschiedene Winkel man abdecken kann umso besser. Habe das Source Material von Böhmermann auch vorher nochmal per KI auf 4K geupscaled bevor ich das Training begonnen habe. Am Ende sind dann noch einige Nachbereitungen mit After Effects und Premiere möglich um das Ergebnis noch ein Stück zu verbessern.
1
u/dazzzzzzle May 09 '22
Wie funktioniert das eigentlich mit den Deepfakes? Macht das eine Software komplett automatisch?