Entra en un nuevo y extraño mundo de actores de deepfake

Ser un actor que nunca será visto es un arte

En 2019, dos artistas multimedia, Francesca Panetta y Halsey Burgundy, comenzaron a perseguir una idea que provocaba pensamientos. El vídeo y el audio de Deepfake se han estado desarrollando en paralelo, pero aún no se han integrado en una experiencia completa. ¿Pueden educar a la gente sobre cómo se está abusando de la tecnología mientras demuestran todo su potencial?

Para hacer realidad el experimento, eligieron un tema incendiario: la creación de otra pieza de la historia de los alunizajes Apolo de 1969. Antes del lanzamiento, el guionista del presidente de los Estados Unidos Richard Nixon había preparado dos versiones de su discurso nacional, una de las cuales fue designada "en caso de un desastre de alunizaje" en caso de que las cosas no fueran de acuerdo con el plan. Afortunadamente, el verdadero Nixon nunca lo necesitó, pero un Nixon podría.

Como resultado, Panetta, director creativo del Centro Virtual del MIT, y Borgoña, investigadora del Open Documentary Lab del MIT, colaboraron con dos empresas de inteligencia artificial. Canny AI manejará el video deepfake y Respeecher preparará audio deepfake. Una vez que todos los componentes técnicos están en su lugar, sólo necesitan una última cosa: los actores que proporcionan el espectáculo.

"Necesitamos encontrar a alguien dispuesto a hacerlo porque es un poco extraño", dijo Borgoña. "Algunas personas tienen ideas más flexibles sobre lo que es un actor y lo que hace".

Aunque deepfake ha existido durante varios años, su reparto y actuaciones son relativamente nuevas. Los primeros deepfakes no eran muy hábiles, principalmente en los rincones oscuros de Internet, convirtiéndolos en videos pornográficos sin el consentimiento de celebridades. Pero a medida que deepfake se vuelve más realista, cada vez más artistas y cineastas lo están utilizando en la programación de radio y la publicidad televisiva. Esto significa contratar actores reales en algunos aspectos de la serie, algunos trabajos requieren que los actores proporcionen material "básico", y otros requieren una voz.

Para los actores, abre emocionantes posibilidades creativas y profesionales, pero también plantea una serie de cuestiones éticas. "Es una tecnología completamente nueva, no hay un proceso real", dijo Borgoña. "Quiero decir, sólo estamos jugando."

"¿Quieres ser Nixon?"

Lo primero que Panetta y Borgoña hicieron fue preguntar a las dos compañías qué tipo de actores necesitaban para que Deepfake funcionara. "Es interesante no sólo cuáles son los criterios importantes, sino lo que no", dijo Borgoña.

En términos de efectos visuales, Canny AI se especializa en la sustitución de conversaciones de vídeo, que utiliza los movimientos de la boca del actor para manipular los movimientos de la boca de otros en la lente existente. En otras palabras, el actor interpreta a un titiritero que nunca aparece en la obra final. La apariencia, el sexo, la edad y la raza de una persona no son importantes.

Pero para este audio, los comentarios de Respeecher son más fáciles de trabajar con un actor con áreas de sonido y acentos similares de Nixon.

Respeecher puede convertir un sonido a otro. Con este conocimiento, Panetta y Borgoña comenzaron a publicar en varios foros de rendimiento y enviar por correo electrónico a grupos de actuación locales. Su lema era: "¿Quieres ser Nixon?"

Por eso Lewis M. D. Wheeler, un actor blanco de Boston, se encontró en un estudio durante días escuchando y repitiendo los clips de audio de Nixon. Hay cientos de clips, cada uno de sólo unos segundos de duración, "algunos de los cuales ni siquiera son palabras completas", dice.

Los clips son seleccionados de los muchos discursos de Nixon, la mayoría de ellos de su renuncia. Dada la gravedad del discurso de desastre del alunizaje, Respeecher necesitaba materiales de entrenamiento que capturaran el mismo tono serio.

El trabajo de Wheeler es volver a grabar cada clip en su propia voz para que coincida con el ritmo y el tono exactos. Los pequeños fragmentos se introducen en el algoritmo de Respeecher para mapear su voz a la de Nixon. "Es algo muy agotador, difícil de hacer, pero es muy divertido construirlo ladrillo a ladrillo", dijo.

La parte visual de Deepfake es mucho más simple. En el archivo, que podría ser manipulado, Nixon está dando un verdadero discurso de alunización a la cámara. Wheeler sólo tiene que moverse de principio a fin, de la misma manera, para que el equipo de producción capture su boca en el ángulo correcto.

Aquí, como actor, comenzó a descubrir algo más familiar. Eventualmente, su actuación será parte de él, llegando al deepfake final. "Es el más desafiante y que vale la pena", dijo. "Para hacer esto, tengo que pensar duro, bueno, ¿de qué diablos se trata este discurso?" ¿Cómo le dices al pueblo estadounidense que esta tragedia ha ocurrido?"

"¿Cómo nos sentimos?"

Frente a ello, el cineasta y director Zach Maas está trabajando en un proyecto similar. Fue contratado por Mischief USA, una empresa creativa, para dirigir la publicidad para el movimiento de los derechos de voto. Los anuncios contarán con el líder norcoreano de Deepfake, Kim, y el presidente ruso Vladimir Putin. Pero sus resultados son muy diferentes de los de Panetta y Borgoña.

Después de consultar con un artista de Deepfake, John Lee, el equipo optó por usar DeepFaceLab, un software de código abierto, para cambios faciales. Esto significa que el anuncio final incluirá el cuerpo del actor, por lo que debe usar un stand-in creíble.

El anuncio también incluirá la voz real del actor, añadiendo consideración adicional a la elección del actor. El equipo quiere que los líderes de deepfake hablen inglés, pero con auténticos acentos norcoreanos y rusos. Así que el director de casting comenzó a buscar actores que fueran física y facialmente similares a cada líder, emparejados por su raza, y fueron capaces de hacer imitaciones de sonido convincentes.

Para el Sr. Putin, el proceso es relativamente simple. Hay un montón de videos de Putin hablando, que proporciona el algoritmo con una gran cantidad de datos de entrenamiento para profundizar sus expresiones faciales. Como resultado, hay más flexibilidad en la apariencia de los actores, ya que deepfake puede hacer la mayor parte del trabajo.

Pero King, porque la mayoría de los videos disponibles le muestran usando gafas, ha desdibujado su cara, haciendo que el algoritmo sea imposible de ejecutar. Si reduce el video de entrenamiento a la parte donde se retiran las gafas, habrá muchas menos muestras de entrenamiento disponibles para el aprendizaje. El último deepfake todavía se parece a Kim, pero su expresión facial no es tan natural. El rostro del actor fue reemplazado, restringiendo sus expresiones faciales.

Para resolver este problema, el equipo comenzó a probar las audiciones de todos los actores a través de DeepFaceLab para ver cuál parecía más convincente. Para su sorpresa, el ganador, aunque el menos parecido a kim en tamaño, fue el más expresivo.

Para resolver el problema que deepfake no puede replicar en apariencia de oro, el equipo confía en el maquillaje, la ropa y la postproducción. Por ejemplo, el actor es más delgado que Kim, así que tiene que usar un traje gordo.

Al juzgar la calidad del deepfake, dice Maas, se trata más de experiencia que de detalle visual. "Nunca es como, '¿Esa oreja se ve un poco rara?'" Quiero decir, están estas discusiones", dijo. "Pero siempre es como, '¿Cómo nos sentimos al sentarnos en el Diaoyutai?'"

"Actúan efectivamente como escudos humanos."

De alguna manera, no hay diferencia entre un show de deepfake y un show de CGI, o una voz en off de dibujos animados. Su retrato no entró en producción final, pero los resultados todavía tienen su firma e interpretación. Pero deepfake también puede tener el efecto contrario, reemplazando la cara de una persona por otra.

La falsa persuasión fue obra del artista de efectos visuales Ryan Lenny, quien participó en la producción del documental de HBO de 2020 "Welcome to Chechnya". La película cuenta la historia de activistas en la República Rusa que arriesgan sus vidas para oponerse a la persecución de las personas LGBTQ. Muchos de ellos viven en secreto por miedo a la tortura y la pena de muerte.

Para contar su historia, el director David Frans prometió proteger su identidad, pero esperaba que no perdiera su humanidad. Después de probar muchas soluciones, su equipo finalmente se fijó la mira en deepfake. Trabajando con Lenny, desarrolló un algoritmo que podría cubrir una cara sobre otra mientras conservaba la expresión de este último.

Por lo tanto, el proceso de selección no es para encontrar actores, sino para encontrar 23 dispuestos a pedir prestado cara. Frans finalmente pidió a los activistas LGBTQ que se ofrecieron como voluntarios como "cubiertas". "No está diciendo eso porque es el mejor actor y que está interesado en la causa, está actuando efectivamente como un escudo humano", dijo Lenny.

El equipo buscó a los activistas en función de su aparición a través de diversas actividades y publicaciones de Instagram. Cada cara de la cubierta debe ser lo suficientemente diferente de ellos, y al mismo tiempo cumplir con algunas de sus características. Por ejemplo, el vello facial, las líneas de la mandíbula y las longitudes de la nariz deben coincidir aproximadamente, y cada par requiere aproximadamente la misma edad para que la cara de la persona de la cubierta parezca coincidir con el cuerpo del personaje original.

Sin embargo, el equipo no siempre coincide con la raza o el género. El personaje principal, Maxim Rapnov, es blanco, protegido por una activista latina, y un personaje femenino protegido por una activista heterosexual.

A lo largo del proceso, Frans y Lenny aseguraron el consentimiento pleno e informado de todas las partes. "El tema de la película realmente lo vio antes de que David la lanzara", dijo Lenny. "Todo el mundo tiene que firmar su propia cubierta para asegurarse de que se sienta cómodo".

"Sólo hace que la gente piense."

Mientras que los deepfakes profesionales empujan los límites del arte y la creatividad, su existencia plantea cuestiones éticas espinosas. Por ejemplo, no hay pautas reales sobre cómo etiquetar deepfake, o la línea entre la sátira y el malalicing.

En la actualidad, los artistas y cineastas confían en un sentido personal del bien y del mal. Frans y Lenny, por ejemplo, agregaron un descargo de responsabilidad al principio del documental, llamándolo una protección para los personajes que están "disfrazados digitalmente". También agregaron bordes suaves a la persona de la cubierta para distinguirlos. "No queremos esconder a alguien sin el conocimiento de la audiencia", dijo Lenny.

La artista y productora Stephanie Lepp, que ha creado una variedad de deepfakes para comentarios políticos, también etiquetó sus videos para mostrar que eran falsos. En su serie Deep Reflections, también utiliza actores de voz en lugar de audio deepfake para distinguir aún más el proyecto de la sátira en lugar de engaño. La serie concibe figuras poderosas como Mark Zuckerberg disculpándose por sus acciones.

Otros proyectos son más oscuros, como el trabajo de Barnaby Francis, un activista artista con el seudónimo De Bill Poster. A lo largo de los años, Francis ha hecho a políticos como Boris Johnson y celebridades como Kim Kardashian en nombre de la educación y la sátira. Sin embargo, algunos videos solo se etiquetan fuera, como el subtítulo que Francis publicó en Instagram. Si son sacados de este contexto, pueden oscurecer el arte y la realidad, lo que puede ponerlo en una posición peligrosa.

No hay reglas sobre quién puede manipular la imagen y el habla, y no hay protección para los actores detrás de las escenas. Con mucho, los deepfakes más profesionales se basan en celebridades y tienen objetivos claros y constructivos, por lo que están protegidos por las leyes del derecho satírico en los Estados Unidos. Sin embargo, en el caso de los bromista Deepfake Putin y Kim, los actores han permanecido anónimos por "razones de seguridad personal" debido a la naturaleza controvertida de manipular la imagen del dictador.

Algunos creadores saben cómo funcionan los aficionados deepfake se utilizan para abusar, manipular y acosar a las mujeres, y se preocupan por a dónde van las cosas. "Hay muchas personas que se están uniendo a la tendencia, pero realmente no les importa ética o moralmente quiénes son sus clientes, dónde aparecen y en qué forma", dijo Francis.

Sin embargo, a pesar de estos temas espinosos, muchos artistas y cineastas están convencidos de que deepfake debe seguir existiendo. Eticamente, esta tecnología amplía las posibilidades de arte y crítica, provocación y persuasión. "Sólo hace que la gente piense", dijo Francis. "Es una forma de arte perfecta para esta era absurda, casi surrealista que estamos pasando."

Autor: Karen Hao