Pesquisadores da Netflix, dos Eyeline Studios da Netflix (adquiridos em 2021), da Stony Brook University, da University of Maryland e da Stanford University lançaram na semana passada o Go-with-the-Flow, um novo método para controlar a saída de modelos de vídeo gerados por IA. De acordo com o GitHub, o Go-with-the-Flow “permite que o usuário decida como a câmera e os objetos em uma cena irão se mover, e pode até permitir que você transfira padrões de movimento de um vídeo para outro.” Um exemplo abaixo demonstra como, com alguns cliques, os usuários podem converter uma única imagem em um vídeo ao traçar o caminho que a imagem deve seguir.
O “Deixa Acontecer” Poderia se Estender aos Criadores de Anime com ‘Recursos Mínimos ou Treinamento Especializado’
Como visto nos exemplos acima, certos casos de uso do Go-with-the-Flow nem mesmo exigem uma imagem base — por exemplo, converter um gira-discos 3D em uma representação realista de um animal. Ele também é capaz de Edição de Primeiro Quadro, que só requer uma versão original de um vídeo e um quadro final editado, propagando esse quadro editado ao longo de todo o vídeo sem mais intervenções humanas para editá-lo no geral. O usuário @ednewtonrex, da plataforma X (antigo Twitter), levantou preocupações sobre a origem dos vídeos utilizados para treinar o modelo. O Go-with-the-Flow foi construído através do ajuste fino do modelo pré-existente, CogVideoX, com a conta levantando a alta probabilidade de que conteúdos protegidos por direitos autorais estivessem entre os 35 milhões de clipes utilizados para treinar o CogVideoX. De acordo com o artigo de pesquisa do Go-with-the-Flow, o ajuste fino foi feito com um “grande conjunto de dados de vídeo de uso geral composto por 4M de vídeos com resolução ≥ 720 × 480, variando de aproximadamente 10 a 120 segundos de duração.” As origens desse conjunto de dados de vídeo não estão especificadas.
Embora os exemplos apresentados mostrem apenas a geração de vídeos em live-action, não é difícil imaginar como isso poderia se estender ao anime. Na verdade, esse era um objetivo declarado do artigo de pesquisa. Na seção “Declaração de impacto social” do artigo, os autores de Go-with-the-Flow escreveram: “Nosso trabalho contribui para o crescente campo dos modelos generativos de vídeo ao avançar na geração de vídeo controlável por movimento, que tem o potencial de revolucionar indústrias criativas como cinema e animação.” Eles acrescentam: “Ao introduzir uma estrutura computacionalmente eficiente e acessível, nosso método democratiza a geração de vídeo de alta qualidade, permitindo que criadores, desenvolvedores e artistas produzam conteúdo dinâmico com recursos mínimos ou treinamento especializado.” A declaração de impacto delineia preocupações como deepfakes ou mídia enganosa, mas não menciona a violação de direitos autorais.
O Produtor Chefe de Anime da Netflix Destacou os Benefícios da IA Generativa para a Indústria
O produtor-chefe de anime da Netflix, Taiki Sakurai (também produtor executivo de animes como Cyberpunk: Edgerunners), já falou anteriormente sobre a importância da indústria de anime aceitar a IA generativa. Em setembro de 2023, ele disse: “A diferença entre o Japão e outros países em termos de aceitação [da IA] é que o Japão ainda depende das habilidades artesanais individuais e não conseguiu se desvincular disso. Eu acho que agora estamos em uma situação em que não há criadores suficientes que queiram até mesmo pegar a pata de um gato, e se não usarmos IA, não conseguiremos entregar o produto de amanhã a tempo.” Ele elogiou os benefícios da IA generativa por envolver menos pessoas na produção, o que significa que orçamentos e pontos de equilíbrio para lucro podem ser reduzidos. “Acho que o desenvolvimento tecnológico tornará possível que 100 pessoas façam um filme em cerca de um ano, em vez das 7-800 pessoas que costumavam ser necessárias para fazer um filme em cerca de três anos”, ele acrescentou. Dessa forma, ele argumentou que os salários da equipe poderiam ser aumentados.
Naturalmente, qualquer movimento que a Netflix faça na indústria de animes tem grandes repercussões. A empresa foi estimada como a maior plataforma de streaming de animes do mundo em receita em 2023. Ela também apresentou um relatório para uma solicitação do governo japonês em outubro passado sobre como estava apoiando a indústria de animes. A Netflix argumentou que pagava preços justos para licenciar animes e garantiu que essas taxas fossem destinadas não apenas ao comitê de produção do anime, mas também ao principal estúdio de animação contratado e seus subcontratados. A empresa também tem apoiado escolas de treinamento para animadores, como a WIT Animator Academy, lançada em colaboração com o WIT Studio e a escola de animação Sasayuri. Na época, a Netflix declarou: “São artistas com um artesanato extraordinário por trás das histórias que dão vida ao seu personagem favorito, corte por corte,” lamentando como o número de funcionários tem diminuído e seu desejo de mudar isso.
No entanto, a partir da mesma solicitação do governo japonês em outubro passado, a Netflix foi aparentemente criticada pela Associação de Animações Japonesas, que inclui membros como Aniplex, Kadokawa, Toei Animation e outros. Um “fornecedor global de distribuição” não identificado foi mencionado por não pagar royalties, mas apenas taxas fixas. Além disso, essa taxa fixa foi dividida em vários anos — um comportamento que foi caracterizado como “relutante”. A Netflix afirmou no mesmo mês que não tinha planos de fazer mudanças em seu modelo de pagamento de taxa fixa, descrevendo-o como algo que ela e a maioria de seus parceiros apreciavam.
