De geluidsverschuiving: hoe generatieve AI het bedrijfsmodel van de muziekindustrie AI

Het eerste gedocumenteerde live optreden waarbij generatieve AI een muzikant werden gecombineerd, vond plaats in november 2022, toen pianist David Dolan (Guildhall School of Music and Drama) improviseerde in dialoog met een semi-autonoom AI ontworpen door componist Oded Ben-Tal (Kingston University). Dit baanbrekende concert toonde de creatieve mogelijkheden van AI samenwerkingspartner in de muziek. Sindsdien hebben muzikanten en zelfs niet-muzikanten generatieve AI omarmd en produceren ze volledige composities met zang, instrumenten en zelfs geluiden van niet-bestaande instrumenten. Dit markeert het begin van een nieuw tijdperk waarin AI het creëren en produceren van muziek AI . Terwijl artificial intelligence industrieën artificial intelligence hervormen, ondergaat ook de muziekwereld een revolutie. Van hobbyisten tot grote platenlabels, belanghebbenden in de hele industrie worstelen met de implicaties van deze technologie.

De muziekindustrie, die van oudsher wordt gevormd door technologische vooruitgang, gaat een nieuwe fase van transformatie in. Gezien de brede impact van de muziekindustrie op entertainment, media en streamingplatforms die miljoenen nummers hosten, AI de integratie van AI een nieuwe definitie te geven aan de manier waarop muziek wordt gemaakt, geproduceerd en geconsumeerd.

Generatieve AI, de technologie achter deze ingrijpende verandering, heeft zich snel ontwikkeld van academisch onderzoek naar praktische toepassingen. Modellen zoals Music Transformer en MusicLM verleggen de grenzen van wat mogelijk is en vertalen abstracte concepten naar harmonieuze composities. Deze AI , getraind op basis van enorme datasets met muziekstukken, kunnen nu met verbazingwekkende vaardigheid originele melodieën, harmonieën en zelfs complete nummers genereren.

Zoals bij elke technologische revolutie brengt de opkomst van AI de muziek echter zowel enthousiasme als bezorgdheid met zich mee. Artiesten en professionals uit de sector zijn verdeeld over de mogelijke impact ervan. Sommigen zien het als een krachtig instrument voor creativiteit en democratisering, terwijl anderen zich zorgen maken over de gevolgen voor het menselijk kunstenaarschap en de werkzekerheid.

Het landschap van de muziekindustrie is al aan het veranderen. Streamingplatforms maken gebruik van AI gepersonaliseerde afspeellijsten, terwijl productiesoftware AI mix- en masteringtools integreert. Zelfs grote platenlabels onderzoeken het potentieel AIvoor het scouten van talent en het voorspellen van trends.

Nu we ons in dit nieuwe tijdperk begeven, rijzen er tal van vragen. Hoe zal AI de rol van artiesten, producers en technici AI ? Met welke juridische en ethische kwesties moeten we rekening houden? En misschien wel het belangrijkste: hoe zal deze technologie de emotionele band tussen muzikanten en hun audience beïnvloeden?

In dit artikel gaan we in op de huidige stand van zaken op het gebied van generatieve AI de muziek, de toepassingen ervan in verschillende sectoren van de industrie en de potentiële toekomst die het inluidt. Van de technologie achter deze AI tot de praktische uitdagingen om ze op de markt te brengen, we onderzoeken hoe deze innovatie op het punt staat om een van 's werelds meest geliefde en invloedrijke creatieve industrieën te transformeren.

Nu de muziekindustrie dit AI tijdperk betreedt, is het duidelijk dat toekomstige componisten misschien niet alleen mensen zullen zijn, wat een belangrijke verschuiving betekent nu de industrie deze nieuwe grens verkent.

De reis van traditionele compositie naar AI muziek is ronduit baanbrekend geweest. We zijn bekend met tekstgeneratie met behulp van chatGPT en beeldgeneratie met Stable Diffusion en MidJourney. De belangrijkste doorbraken op het gebied van muziekgeneratie liggen in de aanpassing van die krachtige modellen aan de specifieke kenmerken van data.

Net zoals GPT-modellen taal verwerken, kunnen vergelijkbare principes worden toegepast op muzikale elementen. De sleutel ligt in tokenisatie: het opsplitsen van muziek in afzonderlijke, beheersbare eenheden. Het proces van het toepassen van GPT-modellen op muziek door middel van tokenisatie is een cruciale stap om AI staat AI stellen muziek AI begrijpen en AI genereren. Hier volgt een meer gedetailleerde uitleg:

1. Tokenisatie in muziek: Net zoals GPT-modellen tekst opsplitsen in tokens (woorden of subwoorden), moet muziek worden opgesplitst in afzonderlijke eenheden die de AI verwerken. Hieronder bespreken we twee tokenisatiemethoden:

i. Noten kunnen worden gezien als afzonderlijke elementen die meerdere soorten informatie bevatten:
a) Toonhoogte: de specifieke noot die wordt gespeeld (bijv. C, D, E, enz.)
b) Duur: hoe lang de noot wordt aangehouden (bijv. kwartnoot, halve noot)
c) Snelheid: hoe luid of zacht de noot wordt gespeeld
d) Instrument: welk instrument de noot speelt

ii. Voorbeeld: een C4-noot die een kwartmaat wordt gespeeld, kan worden weergegeven met tokens: ; ; , terwijl een G3-noot die een halve maat wordt gespeeld, kan worden getokeniseerd in ; ;
(we kunnen tokens toevoegen voor snelheden, maatstructuren, instrumenten, genres, ...)

iii. Creatie van numerieke reeksen:
Deze reeksen notities-tokens worden vervolgens samengevoegd en in reeksen gerangschikt, vergelijkbaar met hoe woorden zinnen vormen in taalmodellen. Aan elk token wordt een unieke numerieke ID toegewezen, waardoor het GPT-model een vergelijkbare input kan ontvangen als voor tekstgeneratie.

iv. Voorbeeld: Een muzikale frase ziet er als volgt uit: [123; 8; 456; 118; 12; 451;…] waarbij elk getal een specifieke muzikale gebeurtenis vertegenwoordigt.

i. Audiobestanden worden opgeslagen in computers in een wave-formaat, dat de amplitude van het signaal in de tijd weergeeft. Dit biedt een rijkere weergave dan eenvoudige muziekbladen.

ii. Deze golf kan worden onderverdeeld in segmenten die de 'betekenis van muziek' weergeven met behulp van een getraind model (vergelijkbaar met BERT voor woordvectoren) dat een tokenized versie van de audio-input creëert.

iii. De resulterende vectoren kunnen worden geconditioneerd door een gezamenlijke audio- en tekstinbedding, waardoor tokens worden gecreëerd die zowel audiokarakteristieken als tekstuele beschrijvingen vertegenwoordigen, waardoor de gebruiker een tekstprompt als invoer kan gebruiken tijdens de inferentie.

2. AI :

3. Generatie:

Music Transformer, ontwikkeld door het Magenta-project van Google, betekende een belangrijke mijlpaal op dit gebied. Door als een van de eersten het Attention-mechanisme van Transformer – een hoeksteen van taalmodellen – toe te passen op muzikale sequenties, bereikte het een opmerkelijke samenhang in lange composities. Andere modellen volgden dit voorbeeld en verlegden elk de grenzen van wat AI bereiken op het gebied van muziekcreatie.

Diffusiemodellen, zoals MidJourney of Stable Diffusion, worden op grote schaal toegepast en gebruikt voor het genereren van afbeeldingen. De gegenereerde afbeeldingen worden steeds gedetailleerder en beter aanpasbaar en vertonen een grote consistentie, terwijl ze stijl- of resolutiedetails toevoegen in een prompt. Deze personalisatie is ook een interessante functie voor het genereren van muziek. Hoe kunnen we muziek omzetten in een afbeelding?

Muziek als een beeld:

Door spectrogrammen als afbeeldingen te beschouwen en ze af te stemmen op een tekstbeschrijving, is het mogelijk om de generatie krachtig te beïnvloeden, waardoor gebruikers hun gewenste muziek kunnen oproepen zoals ze dat zouden doen voor afbeeldingen met MidJourney.

De kloof tussen innovatie en industrie overbruggen: uitdagingen bij het genereren AI :
We hebben twee verschillende manieren onderzocht om muziek te genereren met behulp van AI. Al deze technologieën leidden tot indrukwekkende en vermakelijke demo's. De weg van laboratoriumexperimenten naar marktklare producten is echter bezaaid met uitdagingen. Er zijn tal van technische hindernissen, van het waarborgen van een consistente kwaliteit voor verschillende muziekstijlen tot het beheren van de rekenkracht die nodig is voor realtime generatie. De uitdagingen op de markt zijn al even groot, aangezien ontwikkelaars worstelen met het vinden van het juiste audience de juiste use cases voor hun AI .
Management- en juridische overwegingen maken het nog complexer. Het opbouwen en leiden van teams op het snijvlak van muziek en AI een unieke mix van vaardigheden. Ondertussen blijft het ethische en juridische landschap grotendeels onbekend, wat vragen oproept over auteursrecht, auteurschap en de aard van creativiteit in het tijdperk van AI.
Naarmate we ons meer verdiepen in de huidige toepassingen en producten die voortkomen uit deze technologische revolutie, wordt het duidelijk dat de impact van AI de muziekindustrie verstrekkend zal zijn en alle belanghebbenden zal raken, van luisteraars tot grote platenlabels.

Naarmate generatieve AI ontwikkelt, zijn er in de muziekindustrie verschillende platforms en tools ontstaan. Deze innovaties evolueren van experimentele concepten naar praktische toepassingen, die elk verschillende mogelijkheden en potentiële toepassingen bieden.

In de wereld van AI AI Suno.AI veel aandacht gekregen. Het platform stelt gebruikers in staat om muziek te creëren op basis van tekstprompts, waarbij volledige nummers worden gegenereerd, inclusief zang, instrumentatie en songteksten in verschillende genres en stijlen.

Suno.AI een gebruikersbestand van 12 miljoen gemeld en succesvolle financieringsrondes afgerond, waarmee het een waardering van 500 miljoen dollar heeft bereikt. Het platform services gratis als betaalde diensten, waarbij gebruikers met de gratis versie een beperkt aantal nummers per dag kunnen maken. De toepassingen variëren van mockups voor filmtrailers tot soundtracks voor videogames.
Een filmmaker die aan een korte film werkt, kan Suno.AI gebruikenAI een aangepaste soundtrack te genereren wanneer hij geen componist kan inhuren. Reclamebureaus verkennen het platform om snel jingles en achtergrondmuziek voor commercials te maken, waardoor hun workflow voor muziek in reclames mogelijk verandert.

Hoewel Suno.AI veel aandachtAI gekregen, maakt het deel uit van een groeiend ecosysteem van AI .

Naarmate deze platforms zich verder ontwikkelen en er nieuwe platforms ontstaan, blijven de toepassingen van AI de muziek diversifiëren. Van individuele makers tot grote bedrijven, de mogelijke toepassingen zijn zeer divers, wat wijst op een toekomst waarin AI een steeds belangrijkere rol AI spelen in het creëren en produceren van muziek.

Naarmate generatieve AI ontwikkelt, heeft dit invloed op alle aspecten van de muziekindustrie. Van luisteraars tot grote platenlabels, elke groep ervaart een verschuiving in hun relatie met het maken en consumeren van muziek. Sommigen zien deze veranderingen met bezorgdheid, anderen beschouwen ze als een natuurlijke ontwikkeling van een industrie die altijd al door technologische vooruitgang is gevormd.

De reis voor muziekconsumenten is er een geweest van toenemende personalisatie en ontdekking. Vóór AI vertrouwden luisteraars op radio-dj's, muziektijdschriften en mond-tot-mondreclame om nieuwe muziek te ontdekken. Afspeellijsten werden zorgvuldig met de hand samengesteld en waren vaak beperkt tot persoonlijke muziekbibliotheken.

Met de komst van AI introduceerden platforms zoals Spotify in juli 2015 functies zoals Discover Weekly, waarbij algoritmen worden gebruikt om luistergewoonten te analyseren en nieuwe nummers voor te stellen. Dit betekende een belangrijke sprong voorwaarts op het gebied van gepersonaliseerde muziekontdekking, waardoor luisteraars kennis konden maken met een breder scala aan artiesten en genres.

Nu, met generatieve AI, staan we aan de vooravond van een nog meer op maat gemaakte ervaring. LifeScore is een systeem dat niet alleen bestaande muziek aanbeveelt, maar ook nieuwe composities creëert op basis van de stemming, activiteit of zelfs biometrische data van de luisteraar. Een jogger kan in realtime een aangepaste soundtrack krijgen, die zich aanpast aan zijn tempo en hartslag en zijn favoriete genres combineert tot iets geheel nieuws.

Voor muzikanten is het creatieve proces altijd beïnvloed door de beschikbare tools en technologieën. Vóór de komst AI was compositie sterk afhankelijk van traditionele instrumenten en opnametechnieken. De introductie van synthesizers en digitale audio workstations (DAW's) aan het einde van de 20e eeuw begon al een verandering teweeg te brengen in de manier waarop muziek werd gemaakt. Zoals Jean-Michel Jarre, een pionier op het gebied van elektronische muziek, opmerkte:"Technologie heeft altijd stijlen bepaald en niet andersom. Het is omdat we de viool hebben uitgevonden dat Vivaldi de muziek heeft gemaakt die hij heeft gemaakt... Voor mij AI niet per se een gevaar als het goed wordt gebruikt."

Compositiesoftware kan akkoordprogressies of melodieën voorstellen en zo fungeren als een samenwerkingspartner in het creatieve proces.

Met generatieve AI zien we de opkomst van AI . Artiesten kunnen nu een basismelodie of tekstidee invoeren en een AI aanvullende elementen laten genereren, wat mogelijk nieuwe creatieve richtingen kan opleveren. Sommige muzikanten experimenteren zelfs met realtime stijlaanpassing tijdens liveoptredens, waarbij ze AI gebruiken AI hun geluid direct aan te passen op basis van audience .

Voor amateurartiesten maken verschillende trainingsapps goed gebruik van AI realtime, interactieve en gepersonaliseerde leerervaringen aan te bieden. Met andere tools waarmee je arrangementen en bands kunt simuleren, worden de leerkosten van creativiteit verlaagd, waardoor meer mensen muziek kunnen spelen en ervan kunnen genieten.

De rol van geluidstechnici is er altijd een geweest van voortdurende aanpassing aan nieuwe technologieën. Van oudsher waren mixen en masteren volledig handmatige processen, waarvoor een scherp gehoor en jarenlange ervaring nodig waren. Marius Blanchard, Data bij Spotify, zei in een interview voor dit artikel: "AI er niet om muzikanten te vervangen, maar om hen te ondersteunen. Het is een hulpmiddel dat artiesten kan helpen nieuwe creatieve terreinen te verkennen en de grenzen van het maken van muziek te verleggen."

AI al zijn intrede gedaan in dit domein, met tools zoals Neutron van iZotope die intelligente mixondersteuning bieden. Deze systemen kunnen een track analyseren en EQ-instellingen, compressieniveaus en andere parameters voorstellen, waardoor het mixproces wordt gestroomlijnd.

Naarmate generatieve AI steeds geavanceerder AI , zullen we wellicht volledig geautomatiseerde mix- en masteringsystemen zien die een heel album kunnen verwerken met minimale menselijke tussenkomst. Veel mensen in de sector zijn echter van mening dat de menselijke touch altijd nodig zal blijven om de emotionele nuances van een uitvoering vast te leggen.

Platenlabels en muziekuitgevers vertrouwen al lang op menselijke intuïtie en marktonderzoek om trends te signaleren en nieuw talent te ontdekken. A&R-managers (Artists and Repertoire) speurden clubs en demo-tapes af, op zoek naar de volgende grote hit.

De integratie van AI dit proces verschoven naar data besluitvorming. Platforms analyseren data, betrokkenheid op sociale media en andere statistieken om opkomende artiesten te identificeren en het potentieel voor hits te voorspellen.

Met generatieve AI verkennen muziekbedrijven nog radicalere mogelijkheden. Sommigen experimenteren met AI die muziek kunnen genereren die is afgestemd op specifieke marktsegmenten of demografische groepen. Anderen gebruiken voorspellende modellen om te voorspellen welke songstructuren of tekstuele thema's de komende maanden waarschijnlijk aanslaan bij het publiek.

Terwijl de industrie worstelt met deze veranderingen, blijft de hamvraag: hoe zal de balans tussen menselijke creativiteit en AI zich ontwikkelen? Sommigen vrezen dat het menselijke aspect in het maken van muziek verloren gaat, terwijl anderen AI zien AI een hulpmiddel dat uiteindelijk de menselijke creativiteit zal versterken en nieuwe mogelijkheden voor expressie en samenwerking zal bieden.

Terwijl generatieve AI de muziekindustrie AI hervormen, worstelen belanghebbenden met een complex landschap van juridische, economische en ethische overwegingen. Deze transformatieve technologie belooft het maken van muziek te democratiseren en tegelijkertijd traditionele opvattingen over kunstenaarschap en auteursrecht ter discussie te stellen.

1. Auteursrecht in het tijdperk van AI

Vóór de opkomst AIwaren de auteursrechtwetten in de muziekwereld relatief eenvoudig. Componisten en artiesten hadden de rechten op hun originele werken, met duidelijke richtlijnen voor sampling en redelijk gebruik. De introductie van AI muziek heeft deze grenzen echter aanzienlijk vervaagd.

In de VS strekt auteursrechtelijke bescherming zich uit tot originele werken van auteurschap, terwijl de Europese doctrine de nadruk legt op de persoonlijke inbreng van de maker. Dit onderscheid wordt cruciaal wanneer we kijken naar AI muziek. Het Amerikaanse auteursrechtenbureau heeft verklaard dat het geen werken zal registreren die zijn geproduceerd door een machine of een louter mechanisch proces dat willekeurig of automatisch werkt zonder creatieve inbreng of tussenkomst van een menselijke auteur.

In 2023 bracht ten minste één spraakmakende zaak auteursrechtelijke kwesties rond door AI muziek die populaire artiesten imiteert onder de aandacht. Een nummer met de titel "Heart on My Sleeve", waarin AI werd gebruikt AI de stemmen van Drake en The Weeknd na te bootsen, werd geüpload naar streamingdiensten en vervolgens onmiddellijk verwijderd. Universal Music diende een claim in bij YouTube en de videoclip van het nummer werd verwijderd. Dit incident bracht kwesties rond persoonlijkheidsrechten en het ongeoorloofd gebruik van de stemmen van artiesten aan de orde, zelfs als deze met AI zijn gecreëerd. AI actie schiep een precedent voor de manier waarop de industrie zou kunnen omgaan met AI content die sterk lijkt op het werk van bestaande artiesten.

Voor kunstenaars AI een tweesnijdend zwaard. Sommigen omarmen de technologie als een samenwerkingsinstrument, terwijl anderen vrezen dat het hun vakmanschap kan devalueren.

Muziekbedrijven staan voor hun eigen uitdagingen.

2. Marktprognoses

AI de muziekmarkt staat op het punt om aanzienlijk te groeien. Analisten voorspellen dat de sector in 2033 een omzet van 38,7 miljard dollar zal behalen, tegenover 3,9 miljard dollar in 2023. Deze vertienvoudiging weerspiegelt de verwachte wijdverspreide toepassing van AI in verschillende aspecten van muziekproductie, -distributie en -consumptie. Interessant is dat artiesten meer op zoek zijn naar AI tools voor muziekproductie en muziekmastering (66%) dan naar AI (47%). Tools die creativiteit mogelijk maken, worden als belangrijker beschouwd dan pure AI, ook al moeten we ons voorbereiden op het luisteren naar steeds meer AI muziekuittreksels.

1. Democratisering van muziekproductie

AI de drempel voor het maken van muziek. Tools waarvoor vroeger dure studio's en jarenlange training nodig waren, zijn nu toegankelijk via gebruiksvriendelijke apps. Deze democratisering zou kunnen leiden tot een explosie van nieuwe muziekstijlen en stemmen.

Alex Mitchell, oprichter van een start-up op het gebied van muziektechnologie en CEO van Boomy, voorziet een toekomst waarin iedereen componist kan zijn. "Nu zien we dat mensen over de hele wereld met Boomy direct liedjes maken, deze uitbrengen en zelfs royalty's verdienen. Voor het eerst is muzikale expressie beschikbaar voor een geheel nieuw soort makers en audienceDeze toegankelijkheid zou het muzieklandschap fundamenteel kunnen veranderen en mogelijk talent aan het licht brengen dat anders onontdekt zou zijn gebleven.

2. NieuweAudience

AI inderdaad AI waarop artiesten contact maken met hun audience. Sommige artiesten en muziekplatforms experimenteren al met AI chatbots waarmee fans op nieuwe manieren met hun muziekcatalogus kunnen communiceren. Spotify heeft bijvoorbeeld een AI chatbot in zijn applicatie geïntroduceerd die met gebruikers communiceert om hun muziekvoorkeuren, stemmingen en luistergewoonten te begrijpen. Hierdoor kan de chatbot gepersonaliseerde afspeellijsten samenstellen en nieuwe nummers voorstellen die zijn afgestemd op de unieke smaak van elke gebruiker.

Deze AI worden gebruikt om de betrokkenheid van fans te vergroten door gepersonaliseerde aanbevelingen, realtime updates en interactieve ervaringen te bieden. Ze kunnen updates over artiesten geven, afspeellijsten aanbevelen, de aankoop van tickets vergemakkelijken en vragen van fans beheren, waardoor een diepere band tussen artiesten en hun audience wordt bevorderd.

De vooruitstrevende kunstenares Holly Herndon heeft onlangs een AI van haar stem gelanceerd waarmee fans kunnen samenwerken om gepersonaliseerde tracks te creëren. Deze combinatie van menselijke creativiteit en AI wijst op een toekomst waarin de grens tussen artiest en audience steeds vager audience .

De integratie van AI het maken van muziek roept diepgaande vragen op over de aard van kunstenaarschap. Sommigen beweren dat AI slechts een hulpmiddel AI , vergelijkbaar met een nieuw instrument, terwijl anderen vrezen dat het het menselijke element dat muziek emotioneel zo aangrijpend maakt, kan verminderen.

Marius Blanchard, Data aan Columbia University en werkzaam in de muziekindustrie services evenwichtig standpunt: "Ik geloof niet dat AI ooit artiesten AI vervangen; [...] de band audience bestaat op veel verschillende niveaus die verder gaan dan de muziek. In plaats daarvan hoop ik dat AI de toegang tot hoogwaardige geluidsproductie AI democratiseren en een creatieve impuls zal geven aan steeds meer artiesten om hun creaties tot uitdrukking te brengen en te delen."

Naarmate AI toenemen, kunnen bepaalde functies binnen de muziekindustrie veranderen of overbodig worden. Geluidsingenieurs moeten bijvoorbeeld hun vaardigheden aanpassen om te kunnen werken met AI en masteringtools. Er zullen echter waarschijnlijk ook nieuwe functies ontstaan, zoals AI of ethische AI voor de creatieve sector.

Misschien wel de belangrijkste vraag waar de sector mee worstelt, is of AI muziek dezelfde emotionele band met luisteraars kan smeden als door mensen gecreëerde werken. Hoewel AI patronen AI analyseren en technisch bekwame composities AI maken, blijft het een uitdaging om de onbeschrijfelijke kwaliteit van de menselijke ervaring, die vaak ten grondslag ligt aan geweldige muziek, te evenaren.

Elektronische muzikante en AI Holly Herndon services optimistische kijk op de zaak: "Ik denk dat kunstenaars het beste kunnen inspelen op ontwikkelingen op het gebied van machine learning", zei ze, waarbij ze suggereerde dat ze "manieren moeten bedenken om anderen voorwaardelijk uit te nodigen om met hen te experimenteren".

Jeff Ens en Philippe Pasquier, (2020). MMM: Exploring Conditional Multi-Track
Music Generation with the Transformer. arXiv preprint arXiv:2008.06048 https://arxiv.org/abs/2008.06048

Andrea Agostinelli et al, (2023). MusicLM: Generating Music From Text. arXiv preprint arXiv:2301.11325 https://arxiv.org/abs/2301.11325

Huang et al, (2018). Music Transformer: Generating Music with Long-Term Structure. arXiv preprint arXiv:1809.04281 https://arxiv.org/abs/1809.04281

Ke Chen et al, (2023). MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies. arXiv preprint arXiv:2308.01546 https://arxiv.org/abs/1809.04281