Yahoo! Criamos uma IA que transforma automaticamente vídeos em GIFs de fogo

Imagem: Flickr/ Jeff

Minhas condolências a todos os garotos da internet que lutam com nada mais do que algum software de criação de GIF e uma conta no Tumblr. Você foi substituído.

Graças a um novo sistema de aprendizado profundo do Yahoo! Pesquisa, os GIFs são apenas mais uma forma de arte - além de poesia e caligrafia , para citar alguns, que os computadores estão dominando rapidamente.

Quero dizer, basta olhar para esta coisa de beleza:

Um computador fez isso sozinho. Na verdade, um computador não apenas fez o GIF acima, como também escaneou o vídeo original e decidiu quais bits tinham o maior potencial de GIF; um vídeo entrou e uma série de GIFs atraentes saiu.

Estamos a caminho do que você poderia chamar de uma solução totalmente automatizada, bean-to-bar, de criação de GIF. Ou, como seus criadores na ETH Zurich na Suíça e no Yahoo! A pesquisa em Nova York faz, você poderia chamá-lo Vídeo2GIF .

Com empresas que fornecem serviços da Web focados em GIF, como pontuação Giphy rodadas de investimento de vários milhões de dólares e integração com as principais plataformas de mídia social, Yahoo! pode ver uma abertura no mercado para sair do buraco em que vem definhando há anos. Mais recentemente, o tablóide britânico Daily Mail foi supostamente querendo comprar o gigante da web lutando. No entanto, o Yahoo! não tem 'nenhum plano imediato para colocar essa pesquisa em produção', disse um porta-voz ao Motherboard quando contatado para comentar.

'Os GIFs contam uma história, expressam emoções, transformam eventos em momentos de humor e são a nova onda do fotojornalismo', escrevem os autores em um papel publicado no servidor de pré-impressão ArXiv. 'Nós colocamos a questão: podemos automatizar o processo inteiramente manual e elaborado de criação de GIF, aproveitando a infinidade de conteúdo GIF gerado pelo usuário?'

Sim, sim podemos.

O desafio da criação automática de GIFs é espinhoso para a ciência da computação, escreveu a equipe, porque inclui alguns objetivos de pesquisa atuais - fazer com que os computadores medir a memorabilidade de uma imagem, por exemplo - com uma série de novos problemas. Por exemplo, como gerar automaticamente um GIF que faz um loop corretamente.

A equipe apresentará o trabalho em CVPR 2016 , uma conferência de visão computacional, em Las Vegas, em junho.

No centro do Video2GIF está um rede neural — 'camadas' de nós digitais que executam seus próprios cálculos nas entradas e se reorganizam para chegar a uma saída — que os pesquisadores treinaram para reconhecer as partes mais interessantes e compatíveis com GIF de um vídeo usando um conjunto de dados de 100.000 GIFs marcados pelo usuário e suas fontes de vídeo.

Os pesquisadores combinaram os GIFs com os quadros em seus vídeos de origem e os alimentaram na rede neural, juntamente com suas tags de usuário. Dessa forma, o computador aprendeu quais seções de vídeos provavelmente resultarão em bons GIFs. Depois de tudo dito e feito, os pesquisadores tinham uma máquina de criação de GIFs em suas mãos.

Algumas limitações do trabalho incluíram o quão inúteis as tags de usuário podem ser e, portanto, os autores sugerem tentar uma abordagem melhor para analisar a linguagem natural da próxima vez. O Video2GIF também funciona apenas com seções independentes de vídeo e, portanto, os pesquisadores querem tentar unir automaticamente diferentes cenas em um GIF.

GIFs bons são uma forma de arte. Em apenas alguns segundos de quadros de vídeo em loop, eles extraem do poço mais profundo da experiência humana.

Os memes voltarão a ser os mesmos quando as máquinas assumirem o controle?