A mais recente tecnologia da Byte “migra” expressões e expressões com um clique, todo mundo é ator
Recentemente, a ByteDance e a Universidade Tsinghua lançaram conjuntamente a mais recente tecnologia de animação de retratos " X-Portrait 2 " no GitHub.
Especificamente, o X-Portrait 2 é um " modelo generativo de transferência de retrato " muito intuitivo e simples de usar: os usuários só precisam fornecer um retrato estático e um vídeo de "desempenho" com alterações de expressão, e esta tecnologia Você pode "transferir" expressões para retratos com um clique, fazendo o antigo " movimento " também.
Assim:
Como você pode ver, o canto inferior esquerdo é um “retrato estático” e o canto inferior direito é um “vídeo de performance”. A função do X-Portrait 2 é fazer com que o personagem da esquerda tenha quase a mesma expressão do personagem. à direita .
Além da “ expressão ”, até o “ comportamento ” é quase uma réplica em nível de pixel:
A “astúcia” e a “travessura” contidas nas sobrancelhas e no sorriso são apresentadas com precisão.
Mesmo quando a cabeça está muito torcida, o X-Portrait 2 é totalmente capaz e a expressão não fica distorcida:
Um cenário de uso mais "pragmático" é que ele pode ser usado para " sincronização labial ", às vezes para atender às necessidades de modificação posterior de linhas:
A reprodução não é apenas precisa, mas também suave e natural. A editora também chama isso de “ animação de retrato altamente expressiva ”.
Obviamente, este modelo pode alcançar transferência de expressão entre estilos e domínios, abrangendo retratos realistas e imagens de desenhos animados e é altamente adaptável e pode ser usado para contar histórias do mundo real, apresentação de personagens animados, agentes virtuais e outros efeitos visuais;
Em termos de efeitos especiais de pós-produção para filmes ou animações, o X-Portrait 2 sem dúvida simplifica muito os processos existentes de captura de movimento, animação de personagens e criação de conteúdo.
Comparado com o seu protótipo X-Portrait, as atualizações e inovações do X-Portrait 2 não podem ser exageradas.
O X-Portrait 2 usa um codificador de expressão mais avançado , que é treinado em um conjunto de dados em grande escala. Ele pode capturar e reproduzir com mais precisão as expressões sutis dos personagens, incluindo detalhes como beicinho, bochechas salientes e carrancas. expressões e melhora seu realismo.
Ao mesmo tempo, o X-Portrait 2 consegue uma separação eficaz entre aparência e ação , o que significa que ao migrar as expressões, as características de aparência da imagem original são mantidas e as alterações de expressão não afetarão a aparência básica do personagem, melhorando a naturalidade e consistência da animação.
Vale ressaltar que o X-Portrait 2 também introduz de forma inovadora um modelo de difusão generativo , que pode lidar com mudanças de expressão sob diferentes ângulos de visão, gerar efeitos de animação mais suaves e realistas e resolver o problema que os métodos tradicionais podem ter quando o ângulo de visão muda. Ocorre o problema da incoordenação das expressões faciais.
Além disso, o X-Portrait 2 também aprimora os recursos de transferência de expressão entre domínios, bem como o realismo da animação e a expressão dinâmica.
Comparado com seu concorrente lançado anteriormente, o Act-One da Runway, o X-Portrait 2 não é menos impressionante. É também a expressão feliz de "Bom Vovô". O efeito gerado pelo Ato Um é o seguinte:
▲Fonte da imagem: Huxiu
Parece que apenas a “migração” foi alcançada, e o exagero da expressão é obviamente atenuado, e também um pouco rígido. Se você cobrir o vídeo original, talvez não consiga saber quem ele está imitando.
Para a mesma expressão, segue o efeito gerado pelo X-Portrait 2:
Além da reprodução mais precisa e delicada das expressões, parece que conseguimos sentir a “ alegria ” natural. Este é o poder do X-Portrait 2.
Em relação às vantagens do X-Portrait 2, os desenvolvedores disseram o seguinte:
Comparado com métodos de última geração, como o X-Portrait e o recentemente lançado Runway Act-One, nosso modelo pode transmitir fielmente movimentos rápidos da cabeça, pequenas mudanças de expressão e fortes emoções pessoais. Esses aspectos são cruciais para a criação de conteúdo animado de alta qualidade, como aqueles encontrados na animação e na produção de filmes.
Vejamos uma comparação mais intuitiva:
Obviamente, em comparação com o X-Portrait original, a melhoria do X-Portrait 2 é que ele é mais “ natural e suave ” e comparado com o Act-One, o X-Portrait 2 é mais “ preciso e delicado ”.
Em qualquer caso, o lançamento do X-Portrait 2 continua a promover o possível conceito de “substituir a captura de movimento pela IA generativa” e torna-o mais maduro, um passo mais perto da comercialização.
# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.
