Gen-2 lançou o "Motion Brush" para criar histórias em quadrinhos de vídeo!

Original: Comunidade Aberta AIGC

Fonte da imagem: Gerada pela Unbounded AI, uma comunidade profissional com foco no campo da AIGC, com foco no desenvolvimento e aplicação de modelos de linguagem grande (LLMs) como Microsoft OpenAI, Baidu Wenxin Yiyan e iFLYTEK Xinghuo, com foco em pesquisa de mercado LLM e ecologia de desenvolvedores AIGC, bem-vindo a seguir!

A Runway, uma conhecida plataforma de IA generativa, anunciou em seu site oficial que seu produto de vídeo Wensheng Gen-2 lançou oficialmente quatro funções: escovas de movimento, estilos predefinidos, modo diretor atualizado e modelos de imagem otimizados.

Entre eles, o pincel de movimento tornou-se o maior destaque desta atualização, os usuários só precisam manchar a área designada da imagem carregada, para que o vídeo gerado possa se mover de acordo com uma trajetória específica, enquanto as outras áreas que não estão manchadas estão completamente paradas.

Com o poder dos pincéis de movimento e das câmaras de ação, é fácil criar uma “banda desenhada de vídeo” e ter um controlo preciso sobre o que fazer com os seus vídeos.

Para simplificar, este é um controle dinâmico de vídeo visual, que é equivalente ao movimento de trajetória de vídeo em AE e PR. Mas é muito conveniente para aqueles que não têm uma formação profissional e técnica.

Endereço da avaliação gratuita:

Escovas de movimento

A “AIGC Open Community” experimentou esse recurso com uma conta gratuita. 1) Carregue uma imagem de alta definição, aqui eu carreguei uma imagem de alta definição de 2560*1440*96 dpi.

2) Após a conclusão do upload, clique no botão “Motion Brush” para iniciar a função de motion brush.

3) Horizontal, Vertical e Proximidade aparecerão abaixo, que são os três métodos de movimento que controlam o movimento: horizontal, vertical e próximo, respectivamente.

4) Para pintar a área a ser movida, selecionamos apenas o sol, o resto não se moverá e, em seguida, selecionamos os três parâmetros abaixo.

Aqui queremos que o sol continue a nascer, por isso os três parâmetros são elevados em 2,1, 4,0 e 1,8.

Se você quiser que o sol se ponha, basta selecionar estes três parâmetros negativamente.

5) Clique em “Salvar” e gere o vídeo. Podemos ver que o sol está nascendo constantemente para cima, enquanto os outros objetos no vídeo estão completamente parados.

É importante notar que podemos aplicar várias áreas em uma única imagem quantas vezes quiser. Ele também pode ser usado com uma câmera de ação, e não há conflito entre os dois em termos de funcionalidade.

Estilos predefinidos

Muitas vezes é difícil controlar o estilo de vídeo da saída Gen-2, e requer parâmetros muito detalhados para alcançar.

Agora, o Gen-2 tem mais de uma dúzia de estilos predefinidos incorporados para animação, desenhos animados 3D, pixel art, efeitos cinematográficos, comerciais e muito mais.

No processo de geração de um vídeo a partir do texto, podemos selecionar diretamente um estilo predefinido. Por exemplo, caminhe pelo robô Tyrannosaurus rex, deserto, dunas de areia e escolha o estilo de desenho animado 3D.

Mais uma vez, o recurso é útil para fazer histórias em quadrinhos de vídeo que controlam o estilo geral. Deve-se notar que, atualmente, apenas text-to-video é suportado, e image-to-video ainda não está disponível.

Modelo de Diretor Atualizado

Os controles avançados da câmera do Modo Diretor do Gen-2 foram atualizados para permitir um controle mais granular.

Agora, podemos usar parâmetros detalhados para ajustar o movimento da câmera com mais precisão, para aumentar ou diminuir o movimento.

Otimizar o modelo de imagem

O Gen-2 agora oferece maior fidelidade, maior consistência e geração de imagens de maior resolução em conversão de texto para imagem, imagem para imagem e variação de imagem.

Em outras palavras, quando você usa imagens 2K, 4K e outras imagens de ultra-alta definição para gerar conteúdo, a saída também pode corresponder à mesma resolução, o que é uma grande ajuda ao fazer imagens para vídeos.

O material deste artigo vem do site oficial da Runway, se houver alguma infração, entre em contato para excluir