The Sound Shift: como a IA generativa está redefinindo o modelo de negócios do setor musical

A primeira apresentação ao vivo documentada combinando IA generativa e um músico ocorreu em novembro de 2022, quando o pianista David Dolan (Guildhall School of Music and Drama) improvisou em diálogo com um sistema de IA semiautônomo projetado pelo compositor Oded Ben-Tal (Kingston University). Esse concerto inovador demonstrou as possibilidades criativas da IA como parceira colaborativa na música. Desde então, músicos e até mesmo não músicos adotaram a IA generativa, produzindo composições completas com vocais, instrumentos e até mesmo sons de instrumentos inexistentes. Isso marca o início de uma nova era em que a IA está reformulando a criação e a produção musical. À medida que o artificial intelligence continua a remodelar os setores, o mundo da música está passando por sua própria revolução. De amadores a grandes gravadoras, as partes interessadas de todo o setor estão lidando com as implicações dessa tecnologia.

O setor musical, historicamente moldado pelos avanços tecnológicos, está entrando em uma nova fase de transformação. Com o amplo impacto do setor musical nas plataformas de entretenimento, mídia e streaming que hospedam milhões de faixas, a integração da IA promete redefinir a forma como a música é criada, produzida e consumida.

A IA generativa, a tecnologia por trás dessa mudança sísmica, evoluiu rapidamente da pesquisa acadêmica para aplicações práticas. Modelos como o Music Transformer e o MusicLM estão ampliando os limites do que é possível, traduzindo conceitos abstratos em composições harmoniosas. Esses sistemas de IA, treinados em vastos datasets de peças musicais, agora podem gerar melodias originais, harmonias e até mesmo músicas inteiras com uma proficiência surpreendente.

Entretanto, como acontece com qualquer revolução tecnológica, o surgimento da IA na música traz tanto entusiasmo quanto ansiedade. Artistas e profissionais do setor estão divididos quanto ao seu possível impacto. Alguns a veem como uma ferramenta poderosa para a criatividade e a democratização, enquanto outros se preocupam com as implicações para a arte humana e a segurança no emprego.

O cenário do setor musical já está mudando. As plataformas de streaming estão aproveitando a IA para listas de reprodução personalizadas, enquanto o software de produção está incorporando ferramentas de mixagem e masterização assistidas por IA. Até mesmo as grandes gravadoras estão explorando o potencial da IA para a busca de talentos e a previsão de tendências.

À medida que nos aprofundamos nessa nova era, surgem muitas perguntas. Como a IA reformulará as funções de artistas, produtores e engenheiros? Que considerações legais e éticas devemos abordar? E, talvez o mais importante, como essa tecnologia afetará a conexão emocional entre os músicos e seu audience?

Neste artigo, exploraremos o estado atual da IA generativa na música, suas aplicações em diferentes setores da indústria e o futuro em potencial que ela anuncia. Desde a tecnologia por trás desses modelos de IA até os desafios práticos de levá-los ao mercado, examinaremos como essa inovação está pronta para transformar um dos setores criativos mais amados e influentes do mundo.

À medida que o setor musical entra nessa era impulsionada pela IA, fica evidente que os futuros compositores podem não ser apenas humanos, marcando uma mudança significativa à medida que o setor navega nessa nova fronteira.

A jornada da composição tradicional para a música gerada por IA foi nada menos que inovadora. Estamos familiarizados com a geração de texto usando o chatGPT e a geração de imagens com Stable diffusion e MidJourney. Os principais avanços na geração de música estão na adaptação desses modelos poderosos às especificidades da música data.

Assim como a GPT modela a linguagem do processo, princípios semelhantes podem ser aplicados aos elementos musicais. A chave está na tokenização - dividir a música em unidades discretas e gerenciáveis. O processo de aplicação de modelos de GPT à música por meio da tokenização é uma etapa crucial para permitir que a IA compreenda e gere música. Aqui está uma explicação mais detalhada:

1. Tokenização na música: Assim como os modelos GPT dividem o texto em tokens (palavras ou subpalavras), a música precisa ser dividida em unidades discretas que a IA possa processar. A seguir, exploramos dois métodos de tokenização:

i. As anotações podem ser vistas como um elemento discreto que contém várias informações:
a) Pitch (altura): A nota específica que está sendo tocada (por exemplo, C, D, E, etc.)
b) Duração: Por quanto tempo a nota é mantida (por exemplo, um quarto de nota, meia nota)
c) Velocidade: O quão alto ou baixo a nota é tocada
d) Instrumento: Qual instrumento está tocando a nota

ii. Exemplo: uma nota C4 tocada em uma quarta batida pode ser representada com tokens : ; ; , enquanto uma nota G3 tocada em meia batida pode ser tokenizada em ; ;
( podemos adicionar tokens para velocidades, estruturas de barras, instrumentos, gêneros,...)

iii. Criação de sequência numérica:
Essas séries de notas-tokens são então concatenadas e organizadas em sequências, de forma semelhante a como as palavras formam frases nos modelos de linguagem. Cada token recebe um ID numérico exclusivo, permitindo que o modelo GPT receba uma entrada semelhante à da geração de texto.

iv. Exemplo: Uma frase musical se parece com: [123; 8; 456; 118; 12; 451;...] onde cada número representa um evento musical específico.

i. Os arquivos de áudio são armazenados nos computadores em um formato de onda, representando a amplitude do sinal ao longo do tempo. O que proporciona uma representação mais rica do que simples partituras.

ii. Essa onda pode ser dividida em segmentos que representam o “significado da música” usando um modelo treinado (semelhante ao BERT para vetores de palavras) que cria uma versão tokenizada da entrada de áudio.

iii. Os vetores resultantes podem ser condicionados por uma incorporação conjunta de áudio e texto, criando tokens que representam características de áudio e descrição textual, permitindo que o usuário use um prompt de texto como entrada durante a inferência.

2. Treinamento em IA:

3. Geração:

O Music Transformer, desenvolvido pelo projeto Magenta do Google, foi um marco significativo nesse campo. Por ter sido um dos primeiros a aplicar o mecanismo de atenção do Transformer - uma pedra angular dos modelos de linguagem - a sequências musicais, ele alcançou uma coerência notável em composições longas. Outros modelos seguiram o exemplo, cada um ampliando os limites do que a IA poderia realizar na criação de músicas.

Os modelos de difusão, como MidJourney ou Stable Diffusion, foram amplamente adotados e usados para a geração de imagens. As imagens geradas estão ficando cada vez mais detalhadas e personalizáveis, mostrando grande consistência ao adicionar detalhes de estilo ou resolução em um prompt. Essa personalização é um recurso interessante também para a geração de música. Como podemos transformar a música em uma imagem?

Música como uma imagem:

Ao considerar os espectrogramas como imagens e alinhá-los com uma descrição de texto, é possível ter um controle poderoso sobre a geração, permitindo que os usuários solicitem a música desejada como fariam com as imagens no MidJourney.

Transpondo a lacuna da inovação para o setor: Desafios na geração de música com IA:
Exploramos duas maneiras diferentes de gerar música usando IA. Todas essas tecnologias levaram a demonstrações impressionantes e divertidas. No entanto, o caminho entre os experimentos de laboratório e os produtos prontos para o mercado é repleto de desafios. Os obstáculos técnicos são muitos, desde a garantia de qualidade consistente em vários estilos musicais até o gerenciamento das demandas computacionais da geração em tempo real. Os desafios do mercado são igualmente assustadores, pois os desenvolvedores lutam para encontrar o audience certo e os casos de uso para seus compositores de IA.
As considerações gerenciais e jurídicas aumentam ainda mais a complexidade. Criar e liderar equipes na interseção da música e da IA exige uma combinação única de habilidades. Enquanto isso, o cenário ético e jurídico permanece em grande parte desconhecido, levantando questões sobre direitos autorais, autoria e a própria natureza da criatividade na era da IA.
À medida que nos aprofundamos nos aplicativos e produtos atuais que estão surgindo dessa revolução tecnológica, fica claro que o impacto da IA no setor musical será de longo alcance, atingindo todas as partes interessadas, desde os ouvintes até as grandes gravadoras.

À medida que a IA generativa continua a se desenvolver, uma variedade de plataformas e ferramentas surgiu no setor musical. Essas inovações estão passando de conceitos experimentais para aplicações práticas, cada uma oferecendo diferentes recursos e usos potenciais.

No cenário da geração de música por IA, a Suno.AI ganhou uma atenção significativa. A plataforma permite que os usuários criem músicas a partir de prompts de texto, gerando canções completas, incluindo vocais, instrumentação e letras em vários gêneros e estilos.

A Suno.AI registrou uma base de usuários de 12 milhões e concluiu rodadas de financiamento bem-sucedidas, atingindo uma avaliação de $500 milhões. A plataforma oferece níveis gratuitos e pagos, sendo que a versão gratuita permite que os usuários criem um número limitado de músicas por dia. Seus aplicativos variam de maquetes de trailers de filmes a trilhas sonoras de videogames.
Um cineasta trabalhando em um curta-metragem pode usar a Suno.AI para gerar uma trilha sonora personalizada quando não puder contratar um compositor. As agências de publicidade estão explorando a plataforma para criar rapidamente jingles e música de fundo para comerciais, alterando potencialmente seu fluxo de trabalho para música em publicidade.

Embora a Suno.AI tenha chamado a atenção, ela faz parte de um ecossistema crescente de plataformas de música com IA.

À medida que essas plataformas evoluem e novas plataformas surgem, as aplicações da IA na música continuam a se diversificar. De criadores individuais a grandes corporações, os usos potenciais abrangem uma ampla gama, indicando um futuro em que a IA poderá desempenhar um papel cada vez mais significativo na criação e produção de música.

À medida que a IA generativa continua a evoluir, seu impacto reverbera em todas as facetas do setor musical. Dos ouvintes às grandes gravadoras, cada grupo está experimentando uma mudança em seu relacionamento com a criação e o consumo de música. Enquanto alguns encaram essas mudanças com ansiedade, outros as veem como a progressão natural de um setor que sempre foi moldado pelos avanços tecnológicos.

A jornada dos consumidores de música tem sido uma jornada de crescente personalização e descoberta. Antes da IA, os ouvintes dependiam de DJs de rádio, revistas de música e do boca a boca para descobrir novas músicas. As listas de reprodução eram cuidadosamente selecionadas à mão, muitas vezes limitadas por bibliotecas pessoais de música.

Com o advento da IA, plataformas como o Spotify introduziram recursos como Discover Weekly em julho de 2015, usando algoritmos para analisar os hábitos de audição e sugerir novas faixas. Isso marcou um salto significativo na descoberta de músicas personalizadas, expondo os ouvintes a uma gama mais ampla de artistas e gêneros.

Agora, com a IA generativa, estamos prestes a ter uma experiência ainda mais personalizada. LifeScore é um sistema que não apenas recomenda músicas existentes, mas cria novas composições com base no humor, na atividade ou até mesmo na biometria do ouvinte data. Um corredor pode ter uma trilha sonora personalizada gerada em tempo real, adaptando-se ao seu ritmo e frequência cardíaca, combinando seus gêneros favoritos em algo totalmente novo.

Para os músicos, o processo criativo sempre foi influenciado pelas ferramentas e tecnologias disponíveis. Antes da IA, a composição dependia muito dos instrumentos tradicionais e das técnicas de gravação. A introdução de sintetizadores e estações de trabalho de áudio digital (DAWs) no final do século XX já começou a remodelar a forma como a música era criada. Conforme observado por Jean-Michel Jarre, um dos primeiros pioneiros da música eletrônica: ”A tecnologia sempre ditou estilos e não o contrário. Foi porque inventamos o violino que Vivaldi fez a música que fez... Para mim, a IA não é necessariamente um perigo se for bem utilizada”.

O software de composição pode sugerir progressões de acordes ou melodias, atuando como um parceiro colaborativo no processo criativo.

Com a IA generativa, estamos vendo o surgimento da co-escrita com IA. Agora, os artistas podem inserir uma melodia básica ou uma ideia lírica e fazer com que um sistema de IA gere elementos complementares, o que pode gerar novas direções criativas. Alguns músicos estão até mesmo experimentando a adaptação do estilo em tempo real durante as apresentações ao vivo, usando IA para modificar seu som em tempo real com base nas reações do audience.

Para artistas amadores, vários aplicativos de treinamento estão fazendo bom uso da IA para propor experiências de aprendizado em tempo real, interativas e personalizadas. Com outras ferramentas que permitem simular arranjos e bandas, o custo de aprendizado da criatividade é reduzido, permitindo que mais pessoas toquem e apreciem música.

A função dos engenheiros de áudio tem sido uma adaptação constante às novas tecnologias. Tradicionalmente, a mixagem e a masterização eram processos totalmente manuais, exigindo um ouvido apurado e anos de experiência. Interrogado para este artigo, Marius Blanchard, cientista do Data do Spotify, mencionou: “A IA não está aqui para substituir os músicos, mas para capacitá-los. É uma ferramenta que pode ajudar os artistas a explorar novos territórios criativos e ampliar os limites da criação musical.”

A IA já fez incursões nesse domínio, com ferramentas como Neutron da iZotope que oferecem assistência de mixagem inteligente. Esses sistemas podem analisar uma faixa e sugerir configurações de equalização, níveis de compressão e outros parâmetros, simplificando o processo de mixagem.

À medida que a IA generativa se torna mais sofisticada, podemos ver sistemas de mixagem e masterização totalmente automatizados que podem processar um álbum inteiro com o mínimo de intervenção humana. No entanto, muitos no setor argumentam que o toque humano sempre será necessário para capturar as nuances emocionais de uma apresentação.

As gravadoras e editoras de música há muito tempo dependem da intuição humana e da pesquisa de mercado para identificar tendências e descobrir novos talentos. Os executivos de A&R (Artistas e Repertório) vasculhavam clubes e fitas de demonstração, procurando a próxima grande novidade.

A integração da IA mudou esse processo para a tomada de decisões data-driven. As plataformas analisam o streaming data, o envolvimento com a mídia social e outras métricas para identificar artistas em ascensão e prever o potencial de sucesso.

Com a IA generativa, as empresas de música estão explorando possibilidades ainda mais radicais. Algumas estão fazendo experiências com sistemas de IA que podem gerar músicas adaptadas a segmentos de mercado ou dados demográficos específicos. Outras estão usando modelos preditivos para prever quais estruturas de músicas ou temas líricos provavelmente repercutirão nos audiences nos próximos meses.

À medida que o setor lida com essas mudanças, a principal questão permanece: Como evoluirá o equilíbrio entre a criatividade humana e a assistência da IA? Enquanto alguns temem a perda do toque humano na criação musical, outros veem a IA como uma ferramenta que, em última análise, aprimorará a criatividade humana, abrindo novos caminhos para a expressão e a colaboração.

À medida que a IA generativa continua a remodelar o setor musical, as partes interessadas estão lidando com um cenário complexo de considerações legais, econômicas e éticas. Essa tecnologia transformadora promete democratizar a criação musical e, ao mesmo tempo, desafiar as noções tradicionais de arte e direitos autorais.

1. Direitos autorais na era da IA

Antes do surgimento da IA, as leis de direitos autorais na música eram relativamente simples. Os compositores e intérpretes detinham os direitos sobre suas obras originais, com diretrizes claras sobre amostragem e uso justo. No entanto, a introdução da música gerada por IA obscureceu significativamente essas linhas.

Nos Estados Unidos, a proteção de direitos autorais se estende a obras originais de autoria, enquanto a doutrina europeia enfatiza o toque pessoal do criador. Essa distinção torna-se crucial quando se considera a música gerada por IA. O Escritório de Direitos Autorais dos EUA declarou que não registrará obras produzidas por uma máquina ou mero processo mecânico que opere de forma aleatória ou automática, sem entrada criativa ou intervenção de um autor humano.

Em 2023, pelo menos um caso de grande repercussão destacou as preocupações com direitos autorais em relação a músicas geradas por IA que imitavam artistas populares. Uma faixa chamada “Heart on My Sleeve”, que usava IA para imitar as vozes de Drake e The Weeknd, foi carregada em serviços de streaming e depois prontamente removida. A Universal Music entrou com uma reclamação no YouTube, e o vídeo da faixa foi retirado do ar. Esse incidente levantou questões sobre os direitos de personalidade e o uso não autorizado das vozes dos artistas, Essa ação abriu um precedente sobre como o setor pode lidar com conteúdo criado por IA que se assemelhe ao trabalho de artistas existentes.

Para os artistas, a IA representa uma faca de dois gumes. Alguns adotam a tecnologia como uma ferramenta de colaboração, enquanto outros temem que ela possa desvalorizar sua arte.

As empresas de música enfrentam seu próprio conjunto de desafios.

2. Projeções de mercado

A IA no mercado musical está pronta para um crescimento significativo. Os analistas do setor projetam que o setor Esse aumento de dez vezes reflete a previsão de adoção generalizada de ferramentas de IA em vários aspectos da produção, distribuição e consumo de música. Interessante, os artistas estão procurando mais por ferramentas com IA na produção e na masterização de música (66%), em vez de na geração de música com IA (47%). As ferramentas que possibilitam a criatividade são vistas como mais importantes do que as ferramentas puras de geração de IA, mesmo que tenhamos que nos preparar para ouvir cada vez mais trechos de música gerados por IA.

1. Democratização da produção musical

A IA está reduzindo as barreiras de entrada para a criação musical. Ferramentas que antes exigiam estúdios caros e anos de treinamento agora estão acessíveis por meio de aplicativos fáceis de usar. Essa democratização pode levar a uma explosão de novos estilos musicais e vozes.

Alex Mitchell, CEO da Boomy, fundador de uma startup de tecnologia musical, prevê um futuro em que qualquer pessoa possa ser um compositor. “Agora, estamos vendo pessoas de todo o mundo criarem músicas instantâneas com a Boomy, lançá-las e até mesmo receberem royalties. Pela primeira vez, A expressão musical está disponível para um tipo totalmente novo de criador e audience” . Essa acessibilidade pode alterar fundamentalmente o cenário musical, potencialmente revelando talentos que, de outra forma, poderiam não ter sido descobertos.

2. Novas interações entre artista e público

A IA está, de fato, reformulando a forma como os artistas se conectam com seus audience. Alguns artistas e plataformas de música já estão fazendo experiências com chatbots alimentados por IA que permitem que os fãs interajam com seu catálogo de músicas de maneiras inovadoras. Por exemplo, o Spotify introduziu um chatbot orientado por IA em seu aplicativo que interage com os usuários para entender suas preferências musicais, seu humor e seus hábitos de escuta. Isso permite que o chatbot faça a curadoria de listas de reprodução personalizadas e sugira novas faixas adaptadas ao gosto exclusivo de cada usuário.

Esses chatbots com IA estão sendo usados para melhorar o envolvimento dos fãs, fornecendo recomendações personalizadas, atualizações em tempo real e experiências interativas. Eles podem oferecer atualizações sobre os artistas, recomendar listas de reprodução, facilitar a compra de ingressos e gerenciar as consultas dos fãs, promovendo conexões mais profundas entre os artistas e seus audience.

Uma artista com visão de futuro, Holly Herndon, lançou recentemente uma versão de IA de sua voz com a qual os fãs podem colaborar para criar faixas personalizadas. Essa combinação de criatividade humana e recursos de IA aponta para um futuro em que a linha entre artista e audience se torna cada vez mais fluida.

A integração da IA na criação musical levanta questões profundas sobre a natureza da arte. Enquanto alguns argumentam que a IA é apenas uma ferramenta, semelhante a um novo instrumento, outros temem que ela possa diminuir o elemento humano que torna a música emocionalmente ressonante.

Marius Blanchard, cientista do Data da Universidade de Columbia e que trabalha no setor musical, oferece uma perspectiva equilibrada: “Não acredito que a IA vá substituir os artistas; [...] a conexão entre o audience e o artista vive em muitos níveis diferentes além da música. Em vez disso, espero que a IA democratize o acesso à produção de som de qualidade e seja um estímulo à criatividade para que cada vez mais artistas possam expressar e compartilhar suas criações.”

À medida que os recursos de IA crescem, certas funções no setor musical podem evoluir ou se tornar obsoletas. Os engenheiros de som, por exemplo, talvez precisem adaptar suas habilidades para trabalhar com ferramentas de mixagem e masterização de IA. No entanto, é provável que surjam novas categorias de trabalho, como programadores de música com IA ou consultores éticos de IA para os setores criativos.

Talvez a questão mais importante enfrentada pelo setor seja se a música gerada por IA pode criar as mesmas conexões emocionais com os ouvintes que as obras criadas por humanos. Embora a IA possa analisar padrões e criar composições tecnicamente proficientes, a qualidade inefável da experiência humana que muitas vezes permeia as grandes músicas continua sendo um desafio a ser replicado.

Músico eletrônico e pesquisador de IA Holly Herndon oferece uma visão otimista: “Acho que o melhor caminho a seguir é os artistas se apoiarem em desenvolvimentos com aprendizado de máquina”, disse ela, sugerindo que eles “pensem em maneiras de convidar condicionalmente outras pessoas a fazer experiências com eles”.”

Jeff Ens e Philippe Pasquier, (2020). MMM: Explorando a multipista condicional
Music Generation with the Transformer. arXiv preprint arXiv:2008.06048 https://arxiv.org/abs/2008.06048

Andrea Agostinelli et al, (2023). MusicLM: Geração de música a partir de texto. arXiv preprint arXiv:2301.11325 https://arxiv.org/abs/2301.11325

Huang et al, (2018). Music Transformer: Generating Music with Long-Term Structure (Gerando música com estrutura de longo prazo). arXiv preprint arXiv:1809.04281 https://arxiv.org/abs/1809.04281

Ke Chen et al, (2023). MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies (MúsicaLDM: aprimorando a novidade na geração de texto para música usando estratégias de mixagem síncrona de batidas). arXiv preprint arXiv:2308.01546 https://arxiv.org/abs/1809.04281