The Sound Shift: como a Generative AI está redefinindo o modelo de negócios do setor musical

A primeira apresentação ao vivo documentada combinando o AI generativo e um músico ocorreu em novembro de 2022, quando o pianista David Dolan (Guildhall School of Music and Drama) improvisou em diálogo com um sistema AI semiautônomo projetado pelo compositor Oded Ben-Tal (Kingston University). Esse concerto inovador demonstrou as possibilidades criativas do AI como parceiro colaborativo na música. Desde então, músicos e até mesmo não músicos adotaram o AI generativo, produzindo composições completas com vocais, instrumentos e até mesmo sons de instrumentos inexistentes. Isso marca o início de uma nova era em que o AI está remodelando a criação e a produção musical. Enquanto o artificial intelligence continua a remodelar os setores, o mundo da música está passando por sua própria revolução. De amadores a grandes gravadoras, as partes interessadas de todo o setor estão lidando com as implicações dessa tecnologia.

O setor musical, historicamente moldado pelos avanços tecnológicos, está entrando em uma nova fase de transformação. Com o amplo impacto do setor musical nas plataformas de entretenimento, mídia e streaming que hospedam milhões de faixas, a integração do AI promete redefinir a forma como a música é criada, produzida e consumida.

Generative AI, a tecnologia por trás dessa mudança sísmica, evoluiu rapidamente da pesquisa acadêmica para aplicações práticas. Modelos como o Music Transformer e o MusicLM estão ampliando os limites do que é possível, traduzindo conceitos abstratos em composições harmoniosas. Esses sistemas AI , treinados em vastos conjuntos de dados de peças musicais, agora podem gerar melodias originais, harmonias e até mesmo músicas inteiras com uma proficiência surpreendente.

Entretanto, como acontece com qualquer revolução tecnológica, o surgimento do AI na música traz tanto entusiasmo quanto ansiedade. Artistas e profissionais do setor estão divididos quanto ao seu possível impacto. Alguns o veem como uma ferramenta poderosa para a criatividade e a democratização, enquanto outros se preocupam com as implicações para a arte humana e a segurança no emprego.

O cenário do setor musical já está mudando. As plataformas de streaming estão aproveitando o AI para criar listas de reprodução personalizadas, enquanto o software de produção está incorporando ferramentas de mixagem e masterização assistidas pelo AI. Até mesmo as grandes gravadoras estão explorando o potencial do AIpara a busca de talentos e a previsão de tendências.

À medida que nos aprofundamos nessa nova era, surgem muitas perguntas. Como o site AI reformulará as funções de artistas, produtores e engenheiros? Que considerações legais e éticas devemos abordar? E, talvez o mais importante, como essa tecnologia afetará a conexão emocional entre os músicos e seus audience?

Neste artigo, exploraremos o estado atual da AI generativa na música, suas aplicações em diferentes setores da indústria e o futuro em potencial que ela anuncia. Desde a tecnologia por trás desses modelos AI até os desafios práticos de colocá-los no mercado, examinaremos como essa inovação está pronta para transformar um dos setores criativos mais amados e influentes do mundo.

À medida que o setor musical entra nessa era impulsionada pelo AI, fica evidente que os futuros compositores podem não ser apenas humanos, marcando uma mudança significativa à medida que o setor navega nessa nova fronteira.

A jornada da composição tradicional para a música gerada pelo AI foi nada menos que inovadora. Estamos familiarizados com a geração de texto usando o chatGPT e a geração de imagens com Stable diffusion e MidJourney. Os principais avanços na geração de música estão na adaptação desses modelos poderosos às especificidades da música data.

Assim como a GPT modela a linguagem do processo, princípios semelhantes podem ser aplicados aos elementos musicais. A chave está na tokenização - dividir a música em unidades discretas e gerenciáveis. O processo de aplicação de modelos de GPT à música por meio da tokenização é uma etapa crucial para permitir que o site AI compreenda e gere música. Aqui está uma explicação mais detalhada:

1. Tokenização na música: Assim como os modelos GPT dividem o texto em tokens (palavras ou subpalavras), a música precisa ser dividida em unidades discretas que o AI possa processar. A seguir, exploramos dois métodos de tokenização:

i. As notas podem ser vistas como um elemento discreto que contém várias informações:
a) Tom: A nota específica que está sendo tocada (por exemplo, C, D, E, etc.)
b) Duração: Por quanto tempo a nota é mantida (por exemplo, um quarto de nota, meia nota)
c) Velocidade: O quão alto ou baixo a nota é tocada
d) Instrumento: Qual instrumento está tocando a nota

ii. Exemplo: uma nota C4 tocada em uma quarta batida pode ser representada com tokens : ; ; , enquanto uma nota G3 tocada em meia batida pode ser tokenizada em ; ;
(podemos adicionar tokens para velocidades, estruturas de compasso, instrumentos, gêneros, etc.)

iii. Criação de sequência numérica:
Essas séries de notas-tokens são então concatenadas e organizadas em sequências, de forma semelhante a como as palavras formam frases em modelos de linguagem. Cada token recebe uma ID numérica exclusiva, permitindo que o modelo GPT receba uma entrada semelhante à da geração de texto.

iv. Exemplo: Uma frase musical é semelhante a: [123; 8; 456; 118; 12; 451;...] em que cada número representa um evento musical específico.

i. Os arquivos de áudio são armazenados nos computadores em um formato de onda, representando a amplitude do sinal ao longo do tempo. O que proporciona uma representação mais rica do que simples partituras.

ii. Essa onda pode ser dividida em segmentos que representam o "significado da música" usando um modelo treinado (semelhante ao BERT para vetores de palavras) que cria uma versão tokenizada da entrada de áudio.

iii. Os vetores resultantes podem ser condicionados por uma incorporação conjunta de áudio e texto, criando tokens que representam características de áudio e descrição textual, permitindo que o usuário use um prompt de texto como entrada durante a inferência.

2. AI training:

3. Geração:

O Music Transformer, desenvolvido pelo projeto Magenta do Google, foi um marco significativo nesse campo. Por ter sido um dos primeiros a aplicar o mecanismo de atenção do Transformer - uma pedra angular dos modelos de linguagem - a sequências musicais, ele alcançou uma coerência notável em composições longas. Outros modelos seguiram o exemplo, cada um ampliando os limites do que o AI poderia realizar na criação de músicas.

Os modelos de difusão, como MidJourney ou Stable Diffusion, foram amplamente adotados e usados para a geração de imagens. As imagens geradas estão ficando cada vez mais detalhadas e personalizáveis, mostrando grande consistência ao adicionar detalhes de estilo ou resolução em um prompt. Essa personalização é um recurso interessante também para a geração de músicas. Como podemos transformar a música em uma imagem?

Música como uma imagem:

Ao considerar os espectrogramas como imagens e alinhá-los com uma descrição de texto, é possível ter um controle poderoso sobre a geração, permitindo que os usuários solicitem a música desejada como fariam com as imagens no MidJourney.

Preenchendo a lacuna entre a inovação e o setor: Desafios na geração de música em AI :
Exploramos duas maneiras diferentes de gerar música usando AI. Todas essas tecnologias resultaram em demonstrações impressionantes e divertidas. No entanto, o caminho entre os experimentos de laboratório e os produtos prontos para o mercado é repleto de desafios. Os obstáculos técnicos são muitos, desde a garantia de qualidade consistente em vários estilos musicais até o gerenciamento das demandas computacionais da geração em tempo real. Os desafios do mercado são igualmente assustadores, pois os desenvolvedores lutam para encontrar o audience certo e os casos de uso para seus compositores do AI .
Considerações legais e de gerenciamento aumentam a complexidade. Criar e liderar equipes na interseção da música e do AI exige uma combinação única de habilidades. Enquanto isso, o cenário ético e jurídico permanece em grande parte desconhecido, levantando questões sobre direitos autorais, autoria e a própria natureza da criatividade na era da AI.
À medida que nos aprofundamos nos aplicativos e produtos atuais que estão surgindo dessa revolução tecnológica, fica claro que o impacto do AI no setor musical será de longo alcance, atingindo todas as partes interessadas, desde os ouvintes até as grandes gravadoras.

À medida que o AI generativo continua a se desenvolver, uma variedade de plataformas e ferramentas surgiu no setor musical. Essas inovações estão passando de conceitos experimentais para aplicações práticas, cada uma oferecendo diferentes recursos e usos potenciais.

No cenário de geração de música do site AI , a Suno.AI ganhou atenção significativa. A plataforma permite que os usuários criem músicas a partir de prompts de texto, gerando canções completas, incluindo vocais, instrumentação e letras em vários gêneros e estilos.

A Suno.AI registrou uma base de usuários de 12 milhões e concluiu rodadas de financiamento bem-sucedidas, atingindo uma avaliação de US$ 500 milhões. A plataforma oferece níveis gratuitos e pagos, sendo que a versão gratuita permite que os usuários criem um número limitado de músicas por dia. Suas aplicações variam de modelos de trailers de filmes a trilhas sonoras de videogames.
Um cineasta que esteja trabalhando em um curta-metragem pode usar a Suno.AI para gerar uma trilha sonora personalizada quando não puder contratar um compositor. As agências de publicidade estão explorando a plataforma para criar rapidamente jingles e música de fundo para comerciais, o que pode alterar seu fluxo de trabalho para música em publicidade.

Embora a Suno.AI tenha atraído atenção, ela faz parte de um ecossistema crescente de plataformas de música AI .

À medida que essas plataformas evoluem e novas plataformas surgem, as aplicações do AI na música continuam a se diversificar. De criadores individuais a grandes corporações, os possíveis usos abrangem uma ampla gama, indicando um futuro em que o AI poderá desempenhar um papel cada vez mais significativo na criação e produção de música.

À medida que o AI generativo continua a evoluir, seu impacto reverbera em todas as facetas do setor musical. Dos ouvintes às grandes gravadoras, cada grupo está experimentando uma mudança em seu relacionamento com a criação e o consumo de música. Enquanto alguns encaram essas mudanças com ansiedade, outros as veem como a progressão natural de um setor que sempre foi moldado pelos avanços tecnológicos.

A jornada dos consumidores de música tem sido uma jornada de crescente personalização e descoberta. Antes do site AI, os ouvintes contavam com DJs de rádio, revistas de música e o boca a boca para descobrir novas músicas. As listas de reprodução eram cuidadosamente selecionadas à mão, muitas vezes limitadas por bibliotecas pessoais de música.

Com o advento do AI, plataformas como o Spotify introduziram recursos como o Discover Weekly em julho de 2015, usando algoritmos para analisar os hábitos de audição e sugerir novas faixas. Isso marcou um salto significativo na descoberta de músicas personalizadas, expondo os ouvintes a uma gama mais ampla de artistas e gêneros.

Agora, com o generativo AI, estamos prestes a ter uma experiência ainda mais personalizada. O LifeScore é um sistema que não apenas recomenda músicas existentes, mas cria novas composições com base no humor, na atividade ou até mesmo na biometria do ouvinte data. Um corredor pode ter uma trilha sonora personalizada gerada em tempo real, adaptando-se ao seu ritmo e frequência cardíaca, combinando seus gêneros favoritos em algo totalmente novo.

Para os músicos, o processo criativo sempre foi influenciado pelas ferramentas e tecnologias disponíveis. Antes de AI, a composição dependia muito dos instrumentos tradicionais e das técnicas de gravação. A introdução de sintetizadores e estações de trabalho de áudio digital (DAWs) no final do século XX já começou a remodelar a forma como a música era criada. Conforme observado por Jean-Michel Jarre, um dos primeiros pioneiros da música eletrônica: "A tecnologia sempre ditou os estilos e não o contrário. Foi porque inventamos o violino que Vivaldi fez a música que fez... Para mim, AI não é necessariamente um perigo se for bem utilizado".

O software de composição pode sugerir progressões de acordes ou melodias, atuando como um parceiro colaborativo no processo criativo.

Com o AI generativo, estamos vendo o surgimento da AI co-escrita. Agora, os artistas podem inserir uma melodia básica ou uma ideia lírica e fazer com que um sistema AI gere elementos complementares, o que pode gerar novas direções criativas. Alguns músicos estão até mesmo experimentando a adaptação de estilo em tempo real durante as apresentações ao vivo, usando o AI para transformar seu som em tempo real com base nas reações do audience .

Para artistas amadores, vários aplicativos de treinamento estão fazendo bom uso do AI para propor experiências de aprendizado em tempo real, interativas e personalizadas. Com outras ferramentas que permitem simular arranjos e bandas, o custo de aprendizado da criatividade é reduzido, permitindo que mais pessoas toquem e apreciem música.

A função dos engenheiros de áudio tem sido uma adaptação constante às novas tecnologias. Tradicionalmente, a mixagem e a masterização eram processos totalmente manuais, exigindo um ouvido apurado e anos de experiência. Interrogado para este artigo, Marius Blanchard, Data Scientist at Spotify's mencionou: "OAI não está aqui para substituir os músicos, mas para capacitá-los. É uma ferramenta que pode ajudar os artistas a explorar novos territórios criativos e ampliar os limites da criação musical."

AI já fez incursões nesse domínio, com ferramentas como o Neutron da iZotope, que oferece assistência de mixagem inteligente. Esses sistemas podem analisar uma faixa e sugerir configurações de equalização, níveis de compressão e outros parâmetros, simplificando o processo de mixagem.

À medida que o AI generativo se torna mais sofisticado, podemos ver sistemas de mixagem e masterização totalmente automatizados que podem processar um álbum inteiro com o mínimo de intervenção humana. Entretanto, muitos no setor argumentam que o toque humano sempre será necessário para capturar as nuances emocionais de uma apresentação.

As gravadoras e editoras de música há muito tempo dependem da intuição humana e da pesquisa de mercado para identificar tendências e descobrir novos talentos. Os executivos de A&R (Artistas e Repertório) vasculhavam clubes e fitas demo, procurando o próximo grande sucesso.

A integração do AI mudou esse processo para a tomada de decisões orientada pelo data. As plataformas analisam o streaming data, o envolvimento da mídia social e outras métricas para identificar artistas em ascensão e prever o potencial de sucesso.

Com o AI generativo, as empresas de música estão explorando possibilidades ainda mais radicais. Algumas estão fazendo experiências com sistemas AI que podem gerar músicas adaptadas a segmentos de mercado ou dados demográficos específicos. Outras estão usando modelos preditivos para prever quais estruturas de músicas ou temas líricos provavelmente repercutirão entre o público nos próximos meses.

À medida que o setor lida com essas mudanças, a principal questão permanece: Como evoluirá o equilíbrio entre a criatividade humana e a assistência do AI ? Enquanto alguns temem a perda do toque humano na criação musical, outros veem o AI como uma ferramenta que, em última análise, aprimorará a criatividade humana, abrindo novos caminhos para a expressão e a colaboração.

À medida que a tecnologia generativa AI continua a remodelar o setor musical, as partes interessadas estão lidando com um cenário complexo de considerações legais, econômicas e éticas. Essa tecnologia transformadora promete democratizar a criação musical e, ao mesmo tempo, desafiar as noções tradicionais de arte e direitos autorais.

1. Direitos autorais na era da AI

Antes do surgimento do AI, as leis de direitos autorais na música eram relativamente simples. Compositores e intérpretes detinham direitos sobre suas obras originais, com diretrizes claras sobre amostragem e uso justo. No entanto, a introdução da música gerada pelo AI obscureceu significativamente essas linhas.

Nos EUA, a proteção de direitos autorais se estende a obras originais de autoria, enquanto a doutrina europeia enfatiza o toque pessoal do criador. Essa distinção torna-se crucial quando se considera a música gerada pelo site AI. O Escritório de Direitos Autorais dos EUA declarou que não registrará obras produzidas por uma máquina ou mero processo mecânico que opere de forma aleatória ou automática, sem entrada criativa ou intervenção de um autor humano.

Em 2023, pelo menos um caso de grande repercussão destacou as preocupações com direitos autorais em relação à música gerada pelo AI imitando artistas populares. Uma faixa chamada "Heart on My Sleeve", que usava AI para imitar as vozes de Drake e The Weeknd, foi carregada em serviços de streaming e prontamente removida. A Universal Music registrou uma reclamação no YouTube e o vídeo da faixa foi retirado do ar. Esse incidente levantou questões relacionadas a direitos de personalidade e ao uso não autorizado de vozes de artistas, mesmo que criadas por meio do AI . Essa ação abriu um precedente sobre como o setor poderia lidar com o conteúdo criado pelo AI que se assemelha muito ao trabalho de artistas existentes.

Para os artistas, o site AI apresenta uma faca de dois gumes. Alguns adotam a tecnologia como uma ferramenta de colaboração, enquanto outros temem que ela possa desvalorizar sua arte.

As empresas de música enfrentam seu próprio conjunto de desafios.

2. Projeções de mercado

AI no mercado de música está pronto para um crescimento significativo. Os analistas do setor projetam que o setor atingirá US$ 38,7 bilhões até 2033, em comparação com US$ 3,9 bilhões em 2023. Esse aumento de dez vezes reflete a adoção generalizada prevista de ferramentas AI em vários aspectos da produção, distribuição e consumo de música. É interessante notar que os artistas estão procurando mais ferramentas com tecnologia AI para a produção e a masterização de músicas (66%) do que para a geração de músicas AI (47%). As ferramentas que possibilitam a criatividade são consideradas mais importantes do que as ferramentas puras de geração de AI, mesmo que tenhamos que nos preparar para ouvir cada vez mais extratos de música gerados por AI.

1. Democratização da produção musical

AI está diminuindo as barreiras de entrada para a criação de música. Ferramentas que antes exigiam estúdios caros e anos de treinamento agora estão acessíveis por meio de aplicativos fáceis de usar. Essa democratização pode levar a uma explosão de novos estilos musicais e vozes.

Alex Mitchell, CEO da Boomy, fundador de uma startup de tecnologia musical, prevê um futuro em que qualquer pessoa possa ser um compositor. "Agora, estamos vendo pessoas de todo o mundo criarem músicas instantâneas com a Boomy, lançá-las e até mesmo obter renda com royalties. Pela primeira vez, a expressão musical está disponível para um tipo totalmente novo de criador e audience" . Essa acessibilidade pode alterar fundamentalmente o cenário musical, possivelmente revelando talentos que, de outra forma, poderiam não ter sido descobertos.

2. Novo artista -Audience Interações

AI audienceAlguns artistas e plataformas de música já estão fazendo experiências com chatbots acionados por AI que permitem que os fãs interajam com seu catálogo de músicas de novas maneiras. Por exemplo, o Spotify introduziu um chatbot orientado por AI em seu aplicativo que interage com os usuários para entender suas preferências musicais, humor e hábitos de escuta. Isso permite que o chatbot faça a curadoria de listas de reprodução personalizadas e sugira novas faixas adaptadas ao gosto exclusivo de cada usuário.

Esses chatbots AI estão sendo usados para melhorar o envolvimento dos fãs, fornecendo recomendações personalizadas, atualizações em tempo real e experiências interativas. Eles podem oferecer atualizações sobre os artistas, recomendar listas de reprodução, facilitar a compra de ingressos e gerenciar as consultas dos fãs, promovendo conexões mais profundas entre os artistas e seus audience.

Uma artista com visão de futuro, Holly Herndon, lançou recentemente uma versão AI de sua voz com a qual os fãs podem colaborar para criar faixas personalizadas. Essa combinação de criatividade humana e recursos do AI aponta para um futuro em que a linha entre artista e audience se torna cada vez mais fluida.

A integração do AI na criação musical levanta questões profundas sobre a natureza da arte. Enquanto alguns argumentam que o AI é apenas uma ferramenta, semelhante a um novo instrumento, outros temem que ele possa diminuir o elemento humano que torna a música emocionalmente ressonante.

Marius Blanchard, cientista do Data da Universidade de Columbia e que trabalha no setor musical, oferece uma perspectiva equilibrada: "Não acredito que o AI vá substituir os artistas; [...] a conexão entre o audience e o artista se dá em muitos níveis diferentes além da música. Em vez disso, espero que o AI democratize o acesso à produção de som de qualidade e seja um estímulo à criatividade para que cada vez mais artistas expressem e compartilhem suas criações."

Com o crescimento dos recursos do AI , algumas funções no setor musical podem evoluir ou se tornar obsoletas. Os engenheiros de som, por exemplo, talvez precisem adaptar suas habilidades para trabalhar com ferramentas de mixagem e masterização AI . Entretanto, é provável que surjam novas categorias de trabalho, como programadores de música AI ou consultores éticos AI para os setores criativos.

Talvez a questão mais importante enfrentada pelo setor seja se a música gerada pelo AI pode criar as mesmas conexões emocionais com os ouvintes que as obras criadas por humanos. Embora o AI possa analisar padrões e criar composições tecnicamente proficientes, a qualidade inefável da experiência humana que muitas vezes impregna a boa música continua sendo um desafio a ser replicado.

A musicista eletrônica e pesquisadora do AI Holly Herndon oferece uma visão otimista: "Acho que o melhor caminho a seguir é os artistas se apoiarem em desenvolvimentos com aprendizado de máquina", disse ela, sugerindo que eles "pensem em maneiras de convidar condicionalmente outras pessoas a fazer experiências com eles".

Jeff Ens e Philippe Pasquier, (2020). MMM : Explorando a geração de música condicional de várias faixas
Music Generation with the Transformer. arXiv preprint arXiv:2008.06048 https://arxiv.org/abs/2008.06048

Andrea Agostinelli et al, (2023). MusicLM: Generating Music From Text. arXiv preprint arXiv:2301.11325 https://arxiv.org/abs/2301.11325

Huang et al, (2018). Music Transformer: Generating Music with Long-Term Structure (Gerando música com estrutura de longo prazo). arXiv preprint arXiv:1809.04281 https://arxiv.org/abs/1809.04281

Ke Chen et al, (2023). MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies (Melhorando a novidade na geração de texto para música usando estratégias de mixagem síncrona de batidas). arXiv preprint arXiv:2308.01546 https://arxiv.org/abs/1809.04281