The Sound Shift: Hoe generatief AI het businessmodel van de muziekindustrie herdefinieert

De eerste gedocumenteerde live performance tussen een generatief systeem AI en een muzikant vond plaats in november 2022, toen pianist David Dolan (Guildhall School of Music and Drama) improviseerde in dialoog met een semi-autonoom AI systeem ontworpen door componist Oded Ben-Tal (Kingston University). Dit baanbrekende concert demonstreerde de creatieve mogelijkheden van AI als samenwerkingspartner in muziek. Sindsdien hebben musici en zelfs niet-musici generatieve AI omarmd en volledige composities geproduceerd met zang, instrumenten en zelfs geluiden van niet-bestaande instrumenten. Dit markeert het begin van een nieuw tijdperk waarin AI de creatie en productie van muziek opnieuw vormgeeft. Terwijl artificial intelligence industrieën blijft veranderen, beleeft de muziekwereld zijn eigen revolutie. Van hobbyisten tot grote platenmaatschappijen, belanghebbenden in de hele industrie worstelen met de implicaties van deze technologie.

De muziekindustrie, van oudsher gevormd door technologische vooruitgang, gaat een nieuwe fase van transformatie in. Met de brede impact van de muziekindustrie op entertainment, media en streamingplatforms die miljoenen tracks hosten, belooft de integratie van AI de manier waarop muziek wordt gemaakt, geproduceerd en geconsumeerd opnieuw te definiëren.

Generative AI, de technologie achter deze verschuiving, heeft zich snel ontwikkeld van academisch onderzoek tot praktische toepassingen. Modellen zoals Music Transformer en MusicLM verleggen de grenzen van wat mogelijk is en vertalen abstracte concepten naar harmonieuze composities. Deze AI systemen, getraind op enorme datasets van muziekstukken, kunnen nu met verbazingwekkende vaardigheid originele melodieën, harmonieën en zelfs hele liedjes genereren.

Maar zoals elke technologische revolutie brengt de opkomst van AI in de muziek zowel opwinding als angst met zich mee. Artiesten en professionals uit de industrie zijn verdeeld over de mogelijke impact. Sommigen zien het als een krachtig hulpmiddel voor creativiteit en democratisering, terwijl anderen zich zorgen maken over de gevolgen voor het menselijke kunstenaarschap en de baanzekerheid.

Het landschap van de muziekindustrie is al aan het veranderen. Streamingplatforms maken gebruik van AI voor gepersonaliseerde afspeellijsten, terwijl productiesoftware tools voor mixen en masteren bevat die AI ondersteunen. Zelfs grote platenmaatschappijen onderzoeken AIvoor het scouten van talent en het voorspellen van trends.

Nu we ons in dit nieuwe tijdperk storten, zijn er vragen in overvloed. Hoe zal AI de rol van artiesten, producenten en technici veranderen? Welke juridische en ethische overwegingen moeten we maken? En misschien wel het belangrijkste: hoe zal deze technologie de emotionele band tussen muzikanten en hun audience beïnvloeden?

In dit artikel onderzoeken we de huidige stand van zaken van generatief AI in muziek, de toepassingen ervan in verschillende sectoren van de industrie en de potentiële toekomst die het inluidt. Van de technologie achter deze AI modellen tot de praktische uitdagingen om ze op de markt te brengen, we onderzoeken hoe deze innovatie een van 's werelds meest geliefde en invloedrijke creatieve industrieën kan transformeren.

Nu de muziekindustrie dit door AI aangedreven tijdperk binnengaat, is het duidelijk dat toekomstige componisten misschien niet alleen menselijk zullen zijn.

De reis van traditionele compositie naar AI-gegenereerde muziek is niet minder dan baanbrekend geweest. We zijn bekend met tekstgeneratie met chatGPT en beeldgeneratie met Stable diffusion en MidJourney. De grote doorbraken op het gebied van muziekgeneratie liggen in de aanpassing van deze krachtige modellen aan de specifieke kenmerken van muziek data.

Net zoals GPT modellen taal verwerken, kunnen soortgelijke principes worden toegepast op muzikale elementen. De sleutel ligt in tokenization - het opdelen van muziek in discrete, hanteerbare eenheden. Het toepassen van GPT-modellen op muziek door middel van tokeniseren is een cruciale stap om AI in staat te stellen muziek te begrijpen en te genereren. Hier volgt een meer gedetailleerde uitleg:

1. Tokenisatie in muziek: Net zoals GPT-modellen tekst opsplitsen in tokens (woorden of subwoorden), moet muziek worden opgesplitst in discrete eenheden die de AI kan verwerken. Hieronder verkennen we twee token-methoden:

i. Noten kunnen worden gezien als discrete elementen die meerdere gegevens bevatten:
a) Toonhoogte: De specifieke noot die wordt gespeeld (bijv. C, D, E, enz.)
b) Duur: Hoe lang de noot wordt aangehouden (bijv. kwartnoot, halve noot)
c) Snelheid: Hoe hard of zacht de noot wordt gespeeld
d) Instrument: Welk instrument de noot speelt

ii. Voorbeeld: een C4 noot gespeeld voor een kwart tel kan worden weergegeven met tokens : ; ; , terwijl een G3 noot gespeeld voor een halve tel kan worden weergegeven in ; ;
(we kunnen tokens toevoegen voor snelheden, maatstructuren, instrumenten, genres, ...)

iii. Aanmaken van numerieke reeksen:
Deze reeksen notities-tokens worden dan samengevoegd en gerangschikt in reeksen, vergelijkbaar met hoe woorden zinnen vormen in taalmodellen. Aan elke token wordt een unieke numerieke ID toegekend, zodat het GPT-model een vergelijkbare invoer ontvangt als voor tekstgeneratie.

iv. Voorbeeld : Een muzikale frase ziet er als volgt uit: [123; 8; 456; 118; 12; 451;...] waarbij elk getal staat voor een specifieke muzikale gebeurtenis.

i. Audiobestanden worden in computers opgeslagen in een golfformaat, dat de amplitude van het signaal in de tijd weergeeft. Dit geeft een rijkere weergave dan eenvoudige muziekbladen.

ii. Deze golf kan worden onderverdeeld in segmenten die de "betekenis van muziek" vertegenwoordigen met behulp van een getraind model (vergelijkbaar met BERT voor woordvectoren) dat een tokenversie van de audio-invoer maakt.

iii. De resulterende vectoren kunnen worden geconditioneerd door een gezamenlijke inbedding van audio en tekst, waardoor tokens ontstaan die zowel audiokenmerken als tekstuele beschrijving vertegenwoordigen, zodat de gebruiker een tekst-prompt kan gebruiken als invoer tijdens de inferentie.

2. AI training:

3. Generatie:

Music Transformer, ontwikkeld door Google's Magenta project, markeerde een belangrijke mijlpaal op dit gebied. Door als een van de eersten het aandachtsmechanisme van de Transformer - een hoeksteen van taalmodellen - toe te passen op muzikale sequenties, bereikte het een opmerkelijke samenhang in lange composities. Andere modellen volgden en verlegden de grenzen van wat AI kon bereiken in muziekcreatie.

Diffusiemodellen, zoals MidJourney of Stable Diffusion, zijn grotendeels overgenomen en gebruikt voor het genereren van afbeeldingen. De gegenereerde afbeeldingen worden steeds gedetailleerder en aanpasbaar en laten een grote consistentie zien terwijl stijl- of resolutiedetails in een prompt worden toegevoegd. Deze personalisatie is ook interessant voor het genereren van muziek. Hoe kunnen we muziek omzetten in een afbeelding?

Muziek als beeld:

Door spectrogrammen als afbeeldingen te beschouwen en ze uit te lijnen met een tekstbeschrijving, is het mogelijk om een krachtige controle over de generatie te hebben, waardoor gebruikers hun gewenste muziek kunnen aangeven zoals ze dat met MidJourney voor afbeeldingen zouden doen.

De kloof overbruggen van innovatie naar industrie: Uitdagingen in AI Muziekgeneratie:
We hebben 2 verschillende manieren onderzocht om muziek te genereren met AI. Al deze technologieën hebben tot indrukwekkende en vermakelijke demo's geleid. De weg van laboratoriumexperimenten naar marktklare producten is echter bezaaid met uitdagingen. Technische obstakels zijn er in overvloed, van het garanderen van consistente kwaliteit in verschillende muziekstijlen tot het beheren van de computationele eisen van real-time generatie. De uitdagingen voor de markt zijn al even ontmoedigend, omdat ontwikkelaars worstelen met het vinden van de juiste audience en use cases voor hun AI componisten.
Management en juridische overwegingen maken het nog ingewikkelder. Het bouwen en leiden van teams op het snijvlak van muziek en AI vereist een unieke combinatie van vaardigheden. Ondertussen blijft het ethische en juridische landschap grotendeels onontgonnen terrein, wat vragen oproept over auteursrecht, auteurschap en de eigenlijke aard van creativiteit in het tijdperk van AI.
Als we dieper ingaan op de huidige toepassingen en producten die voortkomen uit deze technologische revolutie, wordt het duidelijk dat de impact van AI op de muziekindustrie verstrekkend zal zijn en alle belanghebbenden zal raken, van luisteraars tot grote platenmaatschappijen.

Terwijl generatief AI zich blijft ontwikkelen, is er een verscheidenheid aan platforms en tools ontstaan in de muziekindustrie. Deze innovaties evolueren van experimentele concepten naar praktische toepassingen en bieden elk verschillende mogelijkheden en potentiële toepassingen.

In het landschap van AI muziekgeneratie heeft Suno.AI veel aandacht gekregen. Het platform stelt gebruikers in staat om muziek te maken op basis van tekstaanwijzingen, waarbij volledige nummers worden gegenereerd, inclusief zang, instrumentatie en tekst in verschillende genres en stijlen.

Suno.AI heeft een gebruikersbestand van 12 miljoen en succesvolle financieringsrondes afgerond, waarbij een waardering van $500 miljoen werd bereikt. Het platform services heeft zowel gratis als betaalde versies, waarbij de gratis versie gebruikers toestaat om een beperkt aantal nummers per dag te maken. De toepassingen variëren van mockups voor filmtrailers tot soundtracks voor videogames.
Een filmmaker die aan een korte film werkt, kan Suno.AI gebruiken om een aangepaste soundtrack te genereren wanneer hij geen componist kan inhuren. Reclamebureaus verkennen het platform om snel jingles en achtergrondmuziek voor reclamespots te maken, waardoor hun workflow voor reclamemuziek mogelijk verandert.

Hoewel Suno.AI de aandacht heeft getrokken, maakt het deel uit van een groeiend ecosysteem van AI muziekplatforms.

Naarmate deze platforms zich verder ontwikkelen en er nieuwe bijkomen, worden de toepassingen van AI in de muziek steeds diverser. Van individuele makers tot grote bedrijven, de potentiële toepassingen omvatten een breed scala, wat wijst op een toekomst waarin AI een steeds belangrijkere rol zou kunnen spelen in de creatie en productie van muziek.

Terwijl generatief AI blijft evolueren, weerklinkt de impact ervan in elk facet van de muziekindustrie. Van luisteraars tot grote platenmaatschappijen, elke groep ervaart een verschuiving in hun relatie met het maken en consumeren van muziek. Terwijl sommigen deze veranderingen met bezorgdheid bekijken, zien anderen ze als de natuurlijke progressie van een industrie die altijd al gevormd is door technologische vooruitgang.

De reis van muziekconsumenten is er een van toenemende personalisering en ontdekking. Vóór AI waren luisteraars afhankelijk van radio-dj's, muziektijdschriften en mond-tot-mondreclame om nieuwe muziek te ontdekken. Afspeellijsten werden zorgvuldig met de hand samengesteld, vaak beperkt door persoonlijke muziekbibliotheken.

Met de komst van AI introduceerden platforms zoals Spotify in juli 2015 functies zoals Discover Weekly, waarbij algoritmes worden gebruikt om luistergewoonten te analyseren en nieuwe nummers voor te stellen. Dit betekende een grote sprong voorwaarts in het persoonlijk ontdekken van muziek, waardoor luisteraars kennis konden maken met een breder scala aan artiesten en genres.

Nu, met generatieve AI, staan we aan de vooravond van een nog meer op maat gemaakte ervaring. LifeScore is een systeem dat niet alleen bestaande muziek aanbeveelt, maar ook nieuwe composities maakt op basis van de stemming, activiteit of zelfs biometrische kenmerken van de luisteraar data. Een jogger kan in realtime een aangepaste soundtrack gegenereerd krijgen, die zich aanpast aan zijn tempo en hartslag en die zijn favoriete genres mengt tot iets geheel nieuws.

Voor muzikanten is het creatieve proces altijd beïnvloed door de beschikbare instrumenten en technologieën. Vóór AI was compositie sterk afhankelijk van traditionele instrumenten en opnametechnieken. De introductie van synthesizers en digitale geluidswerkstations (DAW's) aan het eind van de 20e eeuw begon de manier waarop muziek werd gemaakt al te veranderen. Zoals Jean-Michel Jarre, een pionier op het gebied van elektronische muziek, opmerkte: "Technologie heeft altijd stijlen gedicteerd en niet andersom. Het is omdat wij de viool uitvonden dat Vivaldi de muziek maakte die hij maakte... Voor mij is AI niet per se een gevaar als het goed wordt gebruikt".

Compositie software kan akkoordenschema's of melodieën voorstellen en zo dienen als een samenwerkingspartner in het creatieve proces.

Met generatieve AI zien we de opkomst van AI co-writing. Artiesten kunnen nu een basismelodie of lyrisch idee invoeren en een AI systeem aanvullende elementen laten genereren, waardoor mogelijk nieuwe creatieve richtingen ontstaan. Sommige muzikanten experimenteren zelfs met realtime stijlaanpassing tijdens live optredens, waarbij ze AI gebruiken om hun geluid te veranderen op basis van audience reacties.

Voor amateurartiesten maken verschillende trainingsapps goed gebruik van AI om realtime, interactieve en gepersonaliseerde leerervaringen voor te stellen. Met andere tools waarmee je arrangementen en bands kunt simuleren, worden de leerkosten van creativiteit verlaagd, waardoor meer mensen muziek kunnen spelen en ervan kunnen genieten.

De rol van geluidstechnici is er een van voortdurende aanpassing aan nieuwe technologieën. Traditioneel waren mixen en masteren volledig handmatige processen, waarvoor een scherp gehoor en jarenlange ervaring nodig waren. Marius Blanchard, Data Scientist bij Spotify, die voor dit artikel werd ondervraagd, zei: "AI is er niet om muzikanten te vervangen, maar om ze in hun kracht te zetten. Het is een tool die artiesten kan helpen nieuwe creatieve gebieden te verkennen en de grenzen van muziekcreatie te verleggen."

AI Neutron van iZotope biedt intelligente hulp bij het mixen. Deze systemen kunnen een track analyseren en EQ-instellingen, compressieniveaus en andere parameters voorstellen, waardoor het mixproces wordt gestroomlijnd.

Naarmate generatief AI geavanceerder wordt, zullen we misschien volledig geautomatiseerde mix- en mastering-systemen zien die een heel album kunnen verwerken met minimale menselijke tussenkomst. Velen in de industrie beweren echter dat de menselijke inbreng altijd nodig zal zijn om de emotionele nuances van een optreden vast te leggen.

Platenlabels en muziekuitgevers hebben lang vertrouwd op menselijke intuïtie en marktonderzoek om trends te spotten en nieuw talent te ontdekken. A&R (Artists and Repertoire) executives struinden clubs en demotapes af op zoek naar het volgende grote talent.

De integratie van AI heeft dit proces verschoven naar data-gestuurde besluitvorming. Platforms analyseren streaming data, sociale mediabetrokkenheid en andere statistieken om opkomende artiesten te identificeren en hitpotentieel te voorspellen.

Met generatieve AI verkennen muziekbedrijven nog radicalere mogelijkheden. Sommige experimenteren met AI systemen die muziek kunnen genereren die is afgestemd op specifieke marktsegmenten of demografische groepen. Anderen gebruiken voorspellende modellen om te voorspellen welke songstructuren of tekstuele thema's het publiek de komende maanden waarschijnlijk zullen aanspreken.

Terwijl de industrie worstelt met deze veranderingen, blijft de belangrijkste vraag: Hoe zal de balans tussen menselijke creativiteit en AI evolueren? Terwijl sommigen vrezen voor het verlies van de menselijke maat bij het maken van muziek, zien anderen AI als een hulpmiddel dat uiteindelijk de menselijke creativiteit zal versterken en nieuwe wegen zal openen voor expressie en samenwerking.

Terwijl generatief AI de muziekindustrie opnieuw vorm blijft geven, worstelen belanghebbenden met een complex landschap van juridische, economische en ethische overwegingen. Deze transformatieve technologie belooft muziekcreatie te democratiseren en tegelijkertijd traditionele opvattingen over kunstenaarschap en auteursrecht uit te dagen.

1. Auteursrecht in het tijdperk van AI

Voor de opkomst van AIwaren de wetten op het auteursrecht in de muziek relatief eenvoudig. Componisten en uitvoerende kunstenaars hadden rechten op hun originele werken, met duidelijke richtlijnen voor sampling en eerlijk gebruik. De introductie van AI-gegenereerde muziek heeft deze grenzen echter aanzienlijk doen vervagen.

In de VS strekt auteursrechtelijke bescherming zich uit tot originele auteurswerken, terwijl de Europese doctrine de nadruk legt op het persoonlijke tintje van de maker. Dit onderscheid wordt cruciaal wanneer we kijken naar AI-gegenereerde muziek. Het Amerikaanse Copyright Office heeft verklaard dat het geen werken zal registreren die gemaakt zijn door een machine of louter mechanisch proces dat willekeurig of automatisch werkt zonder creatieve inbreng of tussenkomst van een menselijke auteur.

In 2023 was er ten minste één opvallende zaak die auteursrechtelijke problemen rond AI-gegenereerde muziek die populaire artiesten imiteert, onder de aandacht bracht. Een nummer genaamd "Heart on My Sleeve" dat AI gebruikte om de stemmen van Drake en The Weeknd na te bootsen, werd geüpload naar streamingdiensten en vervolgens prompt verwijderd. Universal Music diende een claim in bij YouTube en de video van de track werd verwijderd. Dit incident deed vragen rijzen over persoonlijkheidsrechten en het ongeoorloofde gebruik van de stemmen van artiesten, zelfs als die waren gecreëerd via AI . Deze actie schepte een precedent voor hoe de industrie zou kunnen omgaan met AI-gecreëerde inhoud die sterk lijkt op het werk van bestaande artiesten.

Voor kunstenaars is AI een tweesnijdend zwaard. Sommigen omarmen de technologie als een hulpmiddel om mee samen te werken, terwijl anderen vrezen dat het hun vak zal devalueren.

Muziekmaatschappijen staan voor hun eigen uitdagingen.

2. Marktprognoses

AI in de muziekmarkt is klaar voor een aanzienlijke groei. Analisten voorspellen dat de sector 38,7 miljard dollar zal bereiken tegen 2033, tegenover 3,9 miljard dollar in 2023. Deze vertienvoudiging weerspiegelt de verwachte wijdverspreide toepassing van AI tools in verschillende aspecten van muziekproductie, -distributie en -consumptie. Interessant is dat artiesten eerder op zoek zijn naar AI tools voor muziekproductie en -mastering (66%) dan naar AI voor het genereren van muziek (47%). Creativiteitsverhogende tools worden belangrijker gevonden dan pure AI-generatie tools, ook al moeten we ons voorbereiden op het luisteren naar steeds meer AI-gegenereerde muziekfragmenten.

1. Democratisering van muziekproductie

AI verlaagt de drempel voor muziekcreatie. Tools waarvoor vroeger dure studio's en jarenlange training nodig waren, zijn nu toegankelijk via gebruiksvriendelijke apps. Deze democratisering kan leiden tot een explosie van nieuwe muziekstijlen en stemmen.

Alex Mitchell, CEO van Boomy en oprichter van een startup op het gebied van muziektechnologie, ziet een toekomst voor zich waarin iedereen componist kan zijn. "Nu zien we dat mensen over de hele wereld direct songs maken met Boomy, ze uitbrengen en zelfs royalty's verdienen. Voor het eerst is muzikale expressie beschikbaar voor een geheel nieuw type maker en audience" . Deze toegankelijkheid zou het muzieklandschap fundamenteel kunnen veranderen en mogelijk talent aan het licht brengen dat anders misschien onontdekt zou blijven.

2. Interacties tussen nieuwe kunstenaars enAudience

AI verandert inderdaad de manier waarop artiesten in contact komen met hun audience. Sommige artiesten en muziekplatforms experimenteren al met chatbots op AI waarmee fans op nieuwe manieren kunnen communiceren met hun muziekcatalogus. Spotify introduceerde bijvoorbeeld een AI-gestuurde chatbot binnen zijn applicatie die in interactie treedt met gebruikers om inzicht te krijgen in hun muziekvoorkeuren, stemmingen en luistergewoonten. Hierdoor kan de chatbot aangepaste afspeellijsten samenstellen en nieuwe nummers voorstellen die zijn afgestemd op de unieke smaak van elke gebruiker.

Deze AI chatbots worden gebruikt om de betrokkenheid van fans te vergroten door middel van gepersonaliseerde aanbevelingen, realtime updates en interactieve ervaringen. Ze kunnen updates geven over artiesten, afspeellijsten aanbevelen, ticketaankopen vergemakkelijken en vragen van fans beheren, waardoor een diepere band ontstaat tussen artiesten en hun audience.

Een vooruitstrevende artiest, Holly Herndon, lanceerde onlangs een AI versie van haar stem waarmee fans kunnen samenwerken om gepersonaliseerde tracks te maken. Deze mix van menselijke creativiteit en AI mogelijkheden wijst op een toekomst waarin de grens tussen artiest en audience steeds vloeiender wordt.

De integratie van AI in het creëren van muziek roept diepgaande vragen op over de aard van het kunstenaarschap. Terwijl sommigen beweren dat AI slechts een hulpmiddel is, verwant aan een nieuw instrument, vrezen anderen dat het afbreuk kan doen aan het menselijke element dat muziek emotioneel resonerend maakt.

Marius Blanchard, Data wetenschapper van Columbia University en werkzaam in de muziekindustrie services een evenwichtig perspectief: "Ik geloof niet dat AI ooit artiesten zal vervangen; [...] de audience-artiesten connectie leeft op veel verschillende niveaus buiten de muziek. In plaats daarvan hoop ik dat AI de toegang tot geluidsproducties van hoge kwaliteit zal democratiseren en een creativiteitsimpuls zal zijn voor meer en meer artiesten om hun creaties uit te drukken en te delen."

Naarmate de mogelijkheden van AI toenemen, kunnen bepaalde functies binnen de muziekindustrie evolueren of overbodig worden. Geluidstechnici, bijvoorbeeld, zullen hun vaardigheden misschien moeten aanpassen om te kunnen werken met AI mixing en mastering tools. Maar er zullen waarschijnlijk ook nieuwe functiecategorieën ontstaan, zoals AI muziekprogrammeurs of ethische AI adviseurs voor de creatieve industrie.

De belangrijkste vraag voor de industrie is misschien wel of AI gegenereerde muziek dezelfde emotionele connecties kan maken met luisteraars als door mensen gemaakte werken. Hoewel AI patronen kan analyseren en technisch vaardige composities kan maken, blijft het een uitdaging om de onuitsprekelijke kwaliteit van de menselijke ervaring, waar geweldige muziek vaak van doordrongen is, te repliceren.

Elektronisch muzikant en AI onderzoeker Holly Herndon services is optimistisch: "Ik denk dat de beste manier om verder te komen is dat artiesten zich richten op ontwikkelingen met machine learning," zei ze, en ze stelde voor dat ze "manieren bedenken om anderen voorwaardelijk uit te nodigen om met hen te experimenteren."

Jeff Ens en Philippe Pasquier, (2020). MMM: Het verkennen van voorwaardelijke multi-track
Music Generation with the Transformer. arXiv preprint arXiv:2008.06048 https://arxiv.org/abs/2008.06048

Andrea Agostinelli et al, (2023). MusicLM: Muziek genereren uit tekst. arXiv preprint arXiv:2301.11325 https://arxiv.org/abs/2301.11325

Huang et al, (2018). Muziek Transformer: Muziek genereren met langetermijnstructuur. arXiv preprint arXiv:1809.04281 https://arxiv.org/abs/1809.04281

Ke Chen et al, (2023). MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies. arXiv preprint arXiv:2308.01546 https://arxiv.org/abs/1809.04281