Novo app com IA do MIT consegue extrair instrumentos individuais de vídeos com apenas um clique
Uma vez, um instrutor meu comparou a mixagem de som com a confecção de um bolo. As diversas faixas são os ingredientes, e uma vez que tudo está misturado e assado, assim como ocorre com um bolo, esses ingredientes não podem ser desconstruídos. Será? Pesquisadores de inteligência artificial do Laboratório de Ciência da Computação e […]
Uma vez, um instrutor meu comparou a mixagem de som com a confecção de um bolo. As diversas faixas são os ingredientes, e uma vez que tudo está misturado e assado, assim como ocorre com um bolo, esses ingredientes não podem ser desconstruídos. Será? Pesquisadores de inteligência artificial do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL, na sigla em inglês), do MIT, criaram um app que consegue isolar uma performance em um vídeo só de clicar em um instrumento específico.
Usando uma rede neural de deep learning que foi treinada para analisar mais de 60 horas de vídeo com músicos tocando instrumentos, o software é capaz de identificar mais de 20 instrumentos diferentes sem que lhe seja dito o que eles são, isolando em seguida, automaticamente, o som de um deles do áudio do vídeo. Basta que o usuário clique no instrumento que ele queira ouvir, transformando um processo que normalmente exige horas de processamento e ajustes por um engenheiro de som em uma ação instantânea.
Os pesquisadores do CSAIL sugerem que, à medida que o software é aprimorado, aprendendo a diferença entre instrumentos da mesma família, o programa poderia se tornar uma ferramental essencial em termos de remixagem e remasterização de apresentações antigas, cujas gravações originais não existam mais. Por exemplo, o som de uma trombeta pode ser reforçado, enquanto o de um piano é reduzido, melhorando, assim, a mistura final, anos depois de uma música ter sido mixada pela primeira vez. Ou então os músicos que ainda estão aprendendo a tocar um instrumento poderiam facilmente focar em uma parte específica de uma canção que estejam tentando aprender a tocar.
O software também tem o potencial de revolucionar o processo de remixar músicas ou de criar mashups, o que provavelmente não é uma aplicação que o MIT queira promover agora. Porém, ser capaz de simplesmente clicar e extrair o som de um instrumento específico seria um feito que vários artistas de remix adorariam adicionar à sua caixa de ferramentas.
fique por dentro das novidades giz
Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas
