The Sound Shift: Hoe generatieve AI het businessmodel van de muziekindustrie herdefinieert

De eerste gedocumenteerde live performance waarbij generatieve AI en een muzikant werden gecombineerd, vond plaats in november 2022, toen pianist David Dolan (Guildhall School of Music and Drama) improviseerde in dialoog met een semi-autonoom AI-systeem ontworpen door componist Oded Ben-Tal (Kingston University). Dit baanbrekende concert demonstreerde de creatieve mogelijkheden van AI als samenwerkingspartner in de muziek. Sindsdien hebben musici en zelfs niet-musici generatieve AI omarmd en volledige composities geproduceerd met zang, instrumenten en zelfs geluiden van niet-bestaande instrumenten. Dit markeert het begin van een nieuw tijdperk waarin AI de creatie en productie van muziek opnieuw vormgeeft. Terwijl artificial intelligence de industrieën blijft veranderen, beleeft de muziekwereld zijn eigen revolutie. Van hobbyisten tot grote platenmaatschappijen, belanghebbenden in de hele industrie worstelen met de implicaties van deze technologie.

De muziekindustrie, van oudsher gevormd door technologische vooruitgang, gaat een nieuwe fase van transformatie in. Met de brede impact van de muziekindustrie op entertainment, media en streamingplatforms die miljoenen nummers hosten, belooft de integratie van AI de manier waarop muziek wordt gemaakt, geproduceerd en geconsumeerd opnieuw te definiëren.

Generatieve AI, de technologie achter deze verschuiving, heeft zich snel ontwikkeld van academisch onderzoek naar praktische toepassingen. Modellen zoals Music Transformer en MusicLM verleggen de grenzen van wat mogelijk is en vertalen abstracte concepten naar harmonieuze composities. Deze AI-systemen, die getraind zijn op enorme datasets van muziekstukken, kunnen nu met verbazingwekkende vaardigheid originele melodieën, harmonieën en zelfs hele liedjes genereren.

Maar zoals bij elke technologische revolutie brengt de opkomst van AI in de muziek zowel opwinding als angst met zich mee. Artiesten en professionals uit de industrie zijn verdeeld over de mogelijke impact. Sommigen zien het als een krachtig hulpmiddel voor creativiteit en democratisering, terwijl anderen zich zorgen maken over de gevolgen voor het menselijke kunstenaarschap en de baanzekerheid.

Het landschap van de muziekindustrie is al aan het veranderen. Streamingplatforms maken gebruik van AI voor gepersonaliseerde afspeellijsten, terwijl productiesoftware AI-ondersteunde mix- en masteringtools bevat. Zelfs grote platenmaatschappijen onderzoeken het potentieel van AI voor het scouten van talent en het voorspellen van trends.

Nu we ons in dit nieuwe tijdperk storten, zijn er vragen in overvloed. Hoe zal AI de rol van artiesten, producenten en technici veranderen? Welke juridische en ethische overwegingen moeten we maken? En misschien wel het belangrijkste: hoe zal deze technologie de emotionele band tussen muzikanten en hun audience beïnvloeden?

In dit artikel onderzoeken we de huidige staat van generatieve AI in muziek, de toepassingen ervan in verschillende sectoren van de industrie en de potentiële toekomst die het inluidt. Van de technologie achter deze AI-modellen tot de praktische uitdagingen om ze op de markt te brengen, we onderzoeken hoe deze innovatie een van 's werelds meest geliefde en invloedrijke creatieve industrieën kan transformeren.

Nu de muziekindustrie dit door AI aangedreven tijdperk binnentreedt, is het duidelijk dat toekomstige componisten misschien niet alleen menselijk zullen zijn, wat een belangrijke verschuiving betekent voor de industrie om zich op dit nieuwe terrein te begeven.

De reis van traditionele compositie naar AI-gegenereerde muziek is niets minder dan baanbrekend geweest. We zijn bekend met tekstgeneratie met chatGPT en beeldgeneratie met Stable diffusion en MidJourney. De grote doorbraken op het gebied van muziekgeneratie liggen in de aanpassing van deze krachtige modellen aan de specifieke kenmerken van muziek data.

Net zoals GPT modellen taal verwerken, kunnen soortgelijke principes worden toegepast op muzikale elementen. De sleutel ligt in tokeniseren - muziek opsplitsen in discrete, hanteerbare eenheden. Het toepassen van GPT-modellen op muziek door middel van tokeniseren is een cruciale stap om AI in staat te stellen muziek te begrijpen en te genereren. Hier volgt een meer gedetailleerde uitleg:

1. Tokenisatie in muziek: Net zoals GPT-modellen tekst opsplitsen in tokens (woorden of subwoorden), moet muziek worden opgesplitst in discrete eenheden die de AI kan verwerken. Hieronder verkennen we twee tokenismethoden:

i. Notities kunnen worden gezien als discrete elementen die meerdere gegevens bevatten:
a) Toonhoogte: De specifieke noot die gespeeld wordt (bijv. C, D, E, etc.)
b) Duur: Hoe lang de noot wordt aangehouden (bijv. kwartnoot, halve noot)
c) Snelheid: Hoe hard of zacht de noot wordt gespeeld
d) Instrument: Welk instrument speelt de noot

ii. Voorbeeld: een C4 noot gespeeld voor een kwart tel kan worden weergegeven met tokens : ; ; , terwijl een G3 noot gespeeld voor een halve tel kan worden weergegeven met tokens ; ;
(we kunnen tokens toevoegen voor snelheden, maatstructuren, instrumenten, genres,...)

iii. Numerieke sequentie maken:
Deze reeksen notities-tokens worden dan samengevoegd en in reeksen gerangschikt, net zoals woorden zinnen vormen in taalmodellen. Aan elke token wordt een unieke numerieke ID toegekend, zodat het GPT-model een vergelijkbare invoer ontvangt als voor het genereren van tekst.

iv. Voorbeeld : Een muzikale frase ziet er als volgt uit: [123; 8; 456; 118; 12; 451;...] waarbij elk nummer een specifieke muzikale gebeurtenis voorstelt.

i. Audiobestanden worden in computers opgeslagen in een golfformaat, dat de amplitude van het signaal in de tijd weergeeft. Dit biedt een rijkere weergave dan eenvoudige muziekbladen.

ii. Deze golf kan worden onderverdeeld in segmenten die de “betekenis van muziek” vertegenwoordigen met behulp van een getraind model (vergelijkbaar met BERT voor woordvectoren) dat een getokentekende versie van de audio-invoer creëert.

iii. De resulterende vectoren kunnen geconditioneerd worden door een gezamenlijke inbedding van audio en tekst, waardoor tokens ontstaan die zowel audiokenmerken als een tekstuele beschrijving vertegenwoordigen, zodat de gebruiker een tekst-prompt als invoer kan gebruiken tijdens de inferentie.

2. AI-training:

3. Generatie:

Music Transformer, ontwikkeld door Google's Magenta project, markeerde een belangrijke mijlpaal op dit gebied. Door als een van de eersten het Aandachtsmechanisme van de Transformer - een hoeksteen van taalmodellen - toe te passen op muzikale sequenties, bereikte het een opmerkelijke samenhang in lange composities. Andere modellen volgden en verlegden de grenzen van wat AI kon bereiken in muziekcreatie.

Diffusiemodellen, zoals MidJourney of Stable Diffusion, zijn grotendeels overgenomen en gebruikt voor het genereren van afbeeldingen. De gegenereerde afbeeldingen worden steeds gedetailleerder en aanpasbaar en laten een grote consistentie zien terwijl stijl- of resolutiedetails in een prompt worden toegevoegd. Deze personalisatie is ook interessant voor het genereren van muziek. Hoe kunnen we muziek in een afbeelding veranderen?

Muziek als afbeelding:

Door spectrogrammen als afbeeldingen te beschouwen en ze uit te lijnen met een tekstbeschrijving, is het mogelijk om een krachtige controle over de generatie te hebben, zodat gebruikers hun gewenste muziek kunnen aangeven zoals ze dat met MidJourney voor afbeeldingen zouden doen.

De kloof tussen innovatie en industrie overbruggen: Uitdagingen in AI-muziekgeneratie:
We hebben 2 verschillende manieren onderzocht om muziek te genereren met behulp van AI. Al deze technologieën hebben tot indrukwekkende en vermakelijke demo's geleid. De weg van laboratoriumexperimenten naar marktklare producten is echter vol uitdagingen. Technische hindernissen zijn er in overvloed, van het garanderen van consistente kwaliteit in verschillende muziekstijlen tot het beheren van de computationele eisen van real-time generatie. De uitdagingen voor de markt zijn al even ontmoedigend, omdat ontwikkelaars worstelen met het vinden van de juiste audience en use cases voor hun AI-componisten.
Management en juridische overwegingen maken het nog ingewikkelder. Het bouwen en leiden van teams op het snijvlak van muziek en AI vereist een unieke combinatie van vaardigheden. Ondertussen blijft het ethische en juridische landschap grotendeels onontgonnen terrein, wat vragen oproept over auteursrecht, auteurschap en de aard van creativiteit in het tijdperk van AI.
Als we dieper ingaan op de huidige toepassingen en producten die voortkomen uit deze technologische revolutie, wordt het duidelijk dat de impact van AI op de muziekindustrie verstrekkend zal zijn en alle belanghebbenden zal raken, van luisteraars tot grote platenmaatschappijen.

Terwijl generatieve AI zich blijft ontwikkelen, zijn er verschillende platforms en tools ontstaan in de muziekindustrie. Deze innovaties evolueren van experimentele concepten naar praktische toepassingen, en bieden elk verschillende mogelijkheden en potentiële toepassingen.

In het landschap van AI-muziekgeneratie heeft Suno.AI veel aandacht gekregen. Het platform stelt gebruikers in staat om muziek te maken op basis van tekstaanwijzingen, waarbij volledige nummers worden gegenereerd, inclusief zang, instrumentatie en tekst in verschillende genres en stijlen.

Suno.AI heeft een gebruikersbestand van 12 miljoen en succesvolle financieringsrondes afgerond, waarbij een waardering van $500 miljoen werd bereikt. Het platform biedt zowel gratis als betaalde niveaus, waarbij de gratis versie gebruikers toestaat om een beperkt aantal nummers per dag te creëren. De toepassingen variëren van mockups voor filmtrailers tot soundtracks voor videogames.
Een filmmaker die aan een korte film werkt, zou Suno.AI kunnen gebruiken om een aangepaste soundtrack te genereren als hij geen componist kan inhuren. Reclamebureaus onderzoeken het platform om snel jingles en achtergrondmuziek voor reclamespots te maken, waardoor hun workflow voor reclamemuziek mogelijk verandert.

Hoewel Suno.AI de aandacht heeft getrokken, maakt het deel uit van een groeiend ecosysteem van AI-muziekplatforms.

Naarmate deze platforms zich verder ontwikkelen en er nieuwe bijkomen, worden de toepassingen van AI in de muziek steeds diverser. Van individuele makers tot grote bedrijven, de potentiële toepassingen omvatten een breed scala, wat wijst op een toekomst waarin AI een steeds belangrijkere rol zou kunnen spelen in de creatie en productie van muziek.

Terwijl generatieve AI zich blijft ontwikkelen, weerklinkt de impact ervan in elk facet van de muziekindustrie. Van luisteraars tot grote platenmaatschappijen, elke groep ervaart een verschuiving in hun relatie met het maken en consumeren van muziek. Terwijl sommigen deze veranderingen met bezorgdheid bekijken, zien anderen ze als de natuurlijke progressie van een industrie die altijd al gevormd is door technologische vooruitgang.

De reis van muziekconsumenten is er een van toenemende personalisering en ontdekking. Vóór AI waren luisteraars afhankelijk van radio-DJ's, muziektijdschriften en mond-tot-mondreclame om nieuwe muziek te ontdekken. Afspeellijsten werden zorgvuldig met de hand samengesteld, vaak beperkt door persoonlijke muziekbibliotheken.

Met de komst van AI introduceerden platforms zoals Spotify functies zoals Discover Weekly in juli 2015, waarbij algoritmes worden gebruikt om luistergewoonten te analyseren en nieuwe nummers voor te stellen. Dit betekende een belangrijke sprong voorwaarts in het persoonlijk ontdekken van muziek, waarbij luisteraars werden blootgesteld aan een breder scala aan artiesten en genres.

Nu, met generatieve AI, staan we aan de vooravond van een nog meer op maat gemaakte ervaring. LifeScore is een systeem dat niet alleen bestaande muziek aanbeveelt, maar ook nieuwe composities maakt op basis van de stemming, activiteit of zelfs biometrische data van de luisteraar. Een jogger kan in realtime een aangepaste soundtrack laten genereren, die zich aanpast aan zijn tempo en hartslag en zijn favoriete genres tot iets geheel nieuws mengt.

Voor muzikanten is het creatieve proces altijd beïnvloed door de beschikbare hulpmiddelen en technologieën. Vóór de komst van AI was compositie sterk afhankelijk van traditionele instrumenten en opnametechnieken. De introductie van synthesizers en digitale audio-werkstations (DAW's) aan het einde van de 20e eeuw begon de manier waarop muziek werd gemaakt al te veranderen. Zoals opgemerkt door Jean-Michel Jarre, een pionier op het gebied van elektronische muziek: ”Technologie heeft altijd stijlen gedicteerd en niet andersom. Het is omdat wij de viool uitvonden dat Vivaldi de muziek maakte die hij maakte... Voor mij is AI niet per se een gevaar als het goed gebruikt wordt”.

Compositie-software kan akkoordenschema's of melodieën suggereren, en zo dienen als een samenwerkingspartner in het creatieve proces.

Met generatieve AI zien we de opkomst van AI co-writing. Artiesten kunnen nu een basismelodie of lyrisch idee invoeren en een AI-systeem aanvullende elementen laten genereren, waardoor mogelijk nieuwe creatieve richtingen ontstaan. Sommige muzikanten experimenteren zelfs met real-time stijlaanpassing tijdens live optredens, die AI gebruiken om hun geluid tijdens het vliegen te veranderen op basis van audience reacties.

Voor amateurartiesten maken meerdere trainingsapps goed gebruik van AI om realtime, interactieve en gepersonaliseerde leerervaringen voor te stellen. Met andere tools waarmee u arrangementen en bands kunt simuleren, worden de leerkosten van creativiteit verlaagd, waardoor meer mensen muziek kunnen spelen en ervan kunnen genieten.

De rol van geluidstechnici is er een van voortdurende aanpassing aan nieuwe technologieën. Traditioneel waren mixen en masteren volledig handmatige processen, waarvoor een scherp gehoor en jarenlange ervaring nodig waren. Ondervraagd voor dit artikel, zei Marius Blanchard, Data Scientist bij Spotify: “AI is er niet om muzikanten te vervangen, maar om ze meer mogelijkheden te geven. Het is een hulpmiddel dat artiesten kan helpen nieuwe creatieve gebieden te verkennen en de grenzen van muziekcreatie te verleggen.”

AI heeft zijn intrede al gedaan in dit domein, met tools zoals Neutron van iZotope die intelligente hulp bij het mixen bieden. Deze systemen kunnen een track analyseren en EQ-instellingen, compressieniveaus en andere parameters voorstellen, waardoor het mixen gestroomlijnd wordt.

Naarmate generatieve AI geavanceerder wordt, zullen we misschien volledig geautomatiseerde mix- en mastering-systemen zien die een heel album kunnen verwerken met minimale menselijke tussenkomst. Velen in de industrie beweren echter dat de menselijke inbreng altijd nodig zal zijn om de emotionele nuances van een optreden vast te leggen.

Platenlabels en muziekuitgevers hebben lang vertrouwd op menselijke intuïtie en marktonderzoek om trends te herkennen en nieuw talent te ontdekken. A&R (Artists and Repertoire) leidinggevenden speurden clubs en demotapes af op zoek naar het volgende grote talent.

Door de integratie van AI is dit proces verschoven naar data-driven besluitvorming. Platformen analyseren streaming data, sociale-mediabetrokkenheid en andere statistieken om opkomende artiesten te identificeren en hitpotentieel te voorspellen.

Met generatieve AI verkennen muziekbedrijven zelfs nog radicalere mogelijkheden. Sommige experimenteren met AI-systemen die muziek kunnen genereren die is afgestemd op specifieke marktsegmenten of demografische groepen. Anderen gebruiken voorspellende modellen om te voorspellen welke songstructuren of tekstuele thema's de komende maanden waarschijnlijk zullen aanslaan bij audience's.

Terwijl de industrie met deze veranderingen worstelt, blijft de hamvraag: Hoe zal de balans tussen menselijke creativiteit en AI-hulp evolueren? Terwijl sommigen vrezen voor het verlies van het menselijke aspect in de muziekcreatie, zien anderen AI als een hulpmiddel dat uiteindelijk de menselijke creativiteit zal versterken en nieuwe wegen zal openen voor expressie en samenwerking.

Terwijl generatieve AI de muziekindustrie opnieuw vorm blijft geven, worstelen belanghebbenden met een complex landschap van juridische, economische en ethische overwegingen. Deze transformatieve technologie belooft muziekcreatie te democratiseren en tegelijkertijd de traditionele opvattingen over kunstenaarschap en auteursrecht uit te dagen.

1. Auteursrecht in het tijdperk van AI

Vóór de opkomst van AI was het auteursrecht op muziek relatief eenvoudig. Componisten en uitvoerende kunstenaars hadden rechten op hun originele werken, met duidelijke richtlijnen voor sampling en eerlijk gebruik. De introductie van door AI gegenereerde muziek heeft deze grenzen echter aanzienlijk doen vervagen.

In de VS strekt auteursrechtelijke bescherming zich uit tot originele auteurswerken, terwijl de Europese doctrine de nadruk legt op het persoonlijke tintje van de maker. Dit onderscheid wordt cruciaal wanneer we AI-muziek in overweging nemen. Het Amerikaanse Copyright Office heeft verklaard dat het geen werken zal registreren die gemaakt zijn door een machine of louter mechanisch proces dat willekeurig of automatisch werkt zonder creatieve input of tussenkomst van een menselijke auteur.

In 2023 benadrukte ten minste één opvallende zaak de zorgen over auteursrechten rond AI-gegenereerde muziek die populaire artiesten nabootst. Een nummer genaamd “Heart on My Sleeve” dat AI gebruikte om de stemmen van Drake en The Weeknd na te bootsen, werd geüpload naar streamingdiensten en vervolgens prompt verwijderd. Universal Music diende een claim in op YouTube en de video van de track werd verwijderd. Dit incident deed vragen rijzen over persoonlijkheidsrechten en het ongeoorloofde gebruik van de stem van artiesten., Deze actie schept een precedent voor hoe de industrie zou kunnen omgaan met door AI gecreëerde inhoud die sterk lijkt op het werk van bestaande artiesten.

Voor kunstenaars is AI een tweesnijdend zwaard. Sommigen omarmen de technologie als een hulpmiddel om mee samen te werken, terwijl anderen vrezen dat het hun vak zal devalueren.

Muziekmaatschappijen staan voor hun eigen uitdagingen.

2. Marktprognoses

AI in de muziekmarkt is klaar voor een aanzienlijke groei. Industrieanalisten verwachten dat de sector Deze vertienvoudiging weerspiegelt de verwachte wijdverspreide toepassing van AI-tools in verschillende aspecten van muziekproductie, -distributie en -consumptie. Interessant, artiesten zijn meer op zoek naar hulpmiddelen met AI voor muziekproductie en -mastering (66%) in plaats van voor AI-muziekgeneratie (47%). Creativiteitsverhogende tools worden belangrijker gevonden dan pure AI-generatietools, zelfs als we ons erop moeten voorbereiden steeds meer AI-gegenereerde muziekfragmenten te gaan beluisteren.

1. Democratisering van muziekproductie

AI verlaagt de toetredingsdrempels voor muziekcreatie. Tools die vroeger dure studio's en jarenlange training vereisten, zijn nu toegankelijk via gebruiksvriendelijke apps. Deze democratisering kan leiden tot een explosie van nieuwe muziekstijlen en stemmen.

Alex Mitchell, CEO van Boomy en oprichter van een startup op het gebied van muziektechnologie, ziet een toekomst voor zich waarin iedereen componist kan zijn. “Nu zien we dat mensen over de hele wereld met Boomy instant songs maken, deze uitbrengen en zelfs royalty's verdienen. Voor het eerst, muzikale expressie beschikbaar is voor een geheel nieuw type maker en audience” . Deze toegankelijkheid zou het muzieklandschap fundamenteel kunnen veranderen en mogelijk talent aan het licht brengen dat anders misschien onontdekt was gebleven.

2. Nieuwe interacties tussen artiest en publiek

AI verandert inderdaad de manier waarop artiesten contact maken met hun audience. Sommige artiesten en muziekplatforms experimenteren al met AI-gestuurde chatbots waarmee fans op nieuwe manieren met hun muziekcatalogus kunnen communiceren. Spotify introduceerde bijvoorbeeld een AI-gestuurde chatbot binnen zijn applicatie die interactie heeft met gebruikers om hun muziekvoorkeuren, stemmingen en luistergewoonten te begrijpen. Hierdoor kan de chatbot aangepaste afspeellijsten samenstellen en nieuwe nummers voorstellen die zijn afgestemd op de unieke smaak van elke gebruiker.

Deze AI-chatbots worden gebruikt om de betrokkenheid van fans te vergroten door middel van gepersonaliseerde aanbevelingen, realtime updates en interactieve ervaringen. Ze kunnen updates over artiesten geven, afspeellijsten aanbevelen, ticketaankopen vergemakkelijken en vragen van fans beheren, waardoor er een diepere band ontstaat tussen artiesten en hun audience.

Een vooruitstrevende artiest, Holly Herndon, heeft onlangs een AI-versie van haar stem gelanceerd waarmee fans kunnen samenwerken om gepersonaliseerde tracks te maken. Deze mix van menselijke creativiteit en AI-mogelijkheden wijst op een toekomst waarin de grens tussen artiest en audience steeds vloeiender wordt.

De integratie van AI in het creëren van muziek roept diepgaande vragen op over de aard van het kunstenaarschap. Terwijl sommigen beweren dat AI slechts een hulpmiddel is, verwant aan een nieuw instrument, vrezen anderen dat het het menselijke element dat muziek emotioneel resonerend maakt, kan verminderen.

Marius Blanchard, Data wetenschapper aan de Columbia University en werkzaam in de muziekindustrie, biedt een evenwichtig perspectief: “Ik geloof niet dat AI ooit artiesten zal vervangen; [...] de audience-artiest connectie leeft op veel verschillende niveaus buiten de muziek. In plaats daarvan hoop ik dat AI de toegang tot geluidsproductie van hoge kwaliteit zal democratiseren en voor steeds meer artiesten een creativiteitsboost zal zijn om hun creaties uit te drukken en te delen.”

Naarmate de mogelijkheden van AI toenemen, kunnen bepaalde functies binnen de muziekindustrie evolueren of overbodig worden. Geluidstechnici zullen bijvoorbeeld hun vaardigheden moeten aanpassen om met AI-mix- en masteringtools te kunnen werken. Er zullen echter waarschijnlijk nieuwe functiecategorieën ontstaan, zoals AI-muziekprogrammeurs of ethische AI-consultants voor de creatieve industrieën.

De belangrijkste vraag voor de industrie is misschien wel of door AI gegenereerde muziek dezelfde emotionele connecties met luisteraars kan maken als door mensen gemaakte werken. Hoewel AI patronen kan analyseren en technisch vaardige composities kan maken, blijft het een uitdaging om de onuitsprekelijke kwaliteit van de menselijke ervaring, waar geweldige muziek vaak van doordrongen is, te repliceren.

Elektronisch muzikant en AI-onderzoeker Holly Herndon biedt een optimistische kijk: “Ik denk dat de beste manier om verder te komen is dat kunstenaars zich richten op ontwikkelingen met machinaal leren,” zei ze, en ze stelde voor dat ze “manieren bedenken om anderen voorwaardelijk uit te nodigen om met hen te experimenteren.”

Jeff Ens en Philippe Pasquier, (2020). MMM: Onderzoek naar voorwaardelijke meersporigheid
Muziekgeneratie met de Transformer. arXiv preprint arXiv:2008.06048 https://arxiv.org/abs/2008.06048

Andrea Agostinelli et al, (2023). MusicLM: Muziek genereren uit tekst. arXiv preprint arXiv:2301.11325 https://arxiv.org/abs/2301.11325

Huang et al, (2018). Muziek Transformer: Muziek genereren met langetermijnstructuur. arXiv preprint arXiv:1809.04281 https://arxiv.org/abs/1809.04281

Ke Chen et al, (2023). MusicLDM: Verbetering van de nieuwheid in tekst-naar-muziekgeneratie met behulp van beat-synchrone mixup-strategieën. arXiv preprint arXiv:2308.01546 https://arxiv.org/abs/1809.04281