Auteur

Image

Oussama Ahmad

Partner van Data en Digital Consulting bij Artefact MENA

Auteur

Image

Anthony Cassab

Data Directeur Advies bij Artefact MENA

Auteur

Image

Faisal Najmuddin

Data Engineering Manager bij Artefact MENA

In het huidige digitale tijdperk worden organisaties uitgedaagd om gelijke tred te houden met de ongekende snelheid waarmee data wordt gegenereerd en de overvloed aan bedrijfssystemen en digitale technologieën die alle soorten data verzamelen. Dit gaat gepaard met de noodzaak om deze grote hoeveelheden data snel en efficiënt te analyseren om inzichten en intelligentie te genereren en zo hun bedrijfswaarde te maximaliseren. Als gevolg hiervan zijn big data platforms een essentiële basis geworden voor organisaties om efficiënt data oplossingen te implementeren die tijdige data-driven zakelijke beslissingen en concurrentievoordeel opleveren.

“Data analytics- en intelligence-oplossingen komen steeds meer voor in organisaties om bedrijfsgroei mogelijk te maken. Organisaties moeten grote data platforms bouwen als solide basis om data oplossingen op schaal in te zetten. Deze data platforms moeten speciaal gebouwd zijn voor bedrijven, omdat ze slechts zo goed zijn als de zakelijke inzichten en intelligentie die ze mogelijk maken; en ze moeten toekomstbestendig gebouwd zijn, zodat ze kunnen profiteren van de voortdurende vooruitgang in data infrastructuurdiensten en technologieën.”
Oussama Ahmad, Data Consulting Partner bij Artefact

Belangrijkste doelstellingen van het Big Data Platform

Big data platforms zijn bedoeld om data silo's af te breken en de verschillende soorten data bronnen te integreren die nodig zijn om geavanceerde data analytics en intelligence oplossingen te implementeren. Ze bieden een schaalbare en flexibele infrastructuur voor het verzamelen, opslaan en analyseren van grote hoeveelheden data uit meerdere bronnen. Deze platforms moeten gebruik maken van de beste data managementdiensten en -technologieën en voldoen aan drie belangrijke doelstellingen:

  • data bronnen centraliseren: Een big data platform zou data silo's moeten doorbreken door automatisch verschillende types en groottes van data bronnen van bedrijfs data systemen en third-party data bronnen op te nemen en op te slaan. Het moet de centrale data repository worden, die een single source of truth biedt voor alle data bronnen die nodig zijn voor data analytics oplossingen.

  • data analytische oplossingen inschakelen: Een grote data platform moet een robuuste infrastructuur bieden voor het ontwikkelen, uitvoeren en implementeren van verschillende soorten analytische oplossingen (van eenvoudige rapportage tot geavanceerd machinaal leren) zoals nodig is om te voldoen aan de zakelijke behoeften aan intelligentie en inzichten voor besluitvorming.

  • Zorgen voor conforme en veilige toegang tot data en toepassingen: Met een grote data platform moeten organisaties geconsolideerde, veilige data toegang kunnen bieden aan zowel interne als externe belanghebbenden. Het moet ook data opslaan, verwerken en distribueren op een manier die voldoet aan lokale data wet- en regelgeving, evenals internationale standaarden en best practices.

Infrastructuur van het Grote Data Platform

Er zijn verschillende infrastructuuropties voor een groot data platform: volledig on-premise, volledig cloud of hybride cloud/on-premise, elk met zijn eigen voordelen en uitdagingen. Organisaties moeten een aantal factoren in overweging nemen bij het kiezen van de meest geschikte infrastructuuroptie voor hun grote data platform, waaronder data beveiligings- en residentievereisten, data bronintegraties, functionaliteits- en schaalbaarheidsvereisten, en kosten en tijd. Een volledig op cloud gebaseerde architectuur biedt lagere en meer voorspelbare kosten, kant-en-klare diensten en integraties, en snelle schaalbaarheid, maar mist controle over de hardware en voldoet mogelijk niet aan data privacy- en residentievereisten. Een volledig on-premise architectuur biedt volledige controle over hardware en data beveiliging, voldoet meestal aan de privacy- en residentievoorschriften, maar brengt hogere kosten met zich mee en vereist langetermijnplanning voor schaalbaarheid. Een hybride cloud/on-premise architectuur biedt het beste van twee werelden en maakt volledige migratie naar de cloud op een later tijdstip mogelijk, maar kan een complexere setup vereisen.

Veel organisaties kiezen voor een hybride infrastructuur voor hun grote data platforms vanwege organisatorische eisen om zeer gevoelige data (zoals klant- en financiële data) op hun eigen servers te houden, of vanwege het gebrek aan door de overheid gecertificeerde cloud service providers (CSP's) die voldoen aan lokale data privacy- en residentie-eisen. Deze organisaties geven er ook de voorkeur aan om cloud-native of niet-gevoelige data bronnen in de cloud te houden om de kosten van opslag en compute resources te optimaliseren en voordeel te halen uit out-of-the-box data analytics en machine learning diensten die beschikbaar zijn bij CSP's. Andere organisaties die geen organisatorische of wettelijke vereisten hebben voor data residentie binnen het bedrijf of het land, kiezen voor een volledig op cloud gebaseerde infrastructuur voor een snellere implementatietijd, geoptimaliseerde kosten en eenvoudig schaalbare bronnen.

Figuur 1: Hybride Cloud & On-Premise Data Platform Infrastructuur

Een grote data platform omvat doorgaans het opzetten van zeven hoofdlagen die de data levenscyclus van “ruwe data” naar “informatie” naar “inzichten” weerspiegelen. Organisaties moeten zorgvuldig nadenken over de juiste diensten en tools die nodig zijn voor elk van de lagen om een naadloze data-flow en efficiënte generatie van data-inzichten te garanderen. Deze diensten en tools moeten sleutelfuncties uitvoeren in elke laag van de Big data platform zoals weergegeven in Figuur 2: Big Data Platform Data Lagen.

Afbeelding 2: Groot Data Platform Data Lagen

Evolutie van het Grote Data Platform

De ontwikkeling van een big data platform moet in verschillende fasen verlopen, te beginnen met een minimum viable platform (MVP) en verder met incrementele upgrades. Een organisatie moet de evolutie van haar big data platform synchroniseren met de toegenomen eisen voor bredere en snellere data inzichten en intelligentie voor zakelijke beslissingen. Deze toegenomen eisen beïnvloeden de complexiteit van de big data platform in termen van data analytische oplossingen, data bronvolumes en -types, en interne en externe gebruikers. De evolutie van de big data platform omvat de toevoeging van meer opslag- en computermiddelen, geavanceerde functies en functionaliteit, en verbeteringen in de beveiliging en het beheer van het platform.

Figuur 3: Evolutie Big Data Platform

“We hebben gezien dat veel organisaties de neiging hebben om Big data platforms vanaf de eerste dag met geavanceerde en onnodige functies te bouwen, waardoor de eigendomskosten van de technologie toenemen. Grote data platform implementaties moeten beginnen met een minimaal levensvatbaar platform en zich ontwikkelen op basis van bedrijfs- en technologievereisten. In het beginstadium van het bouwen van het platform moeten organisaties een robuuste data governance en managementlaag implementeren die data kwaliteit, privacy, beveiliging en naleving van lokale en regionale data wetten garandeert.”
 Anthony Cassab, Data Adviseur-directeur bij Artefact

Richtlijnen voor een toekomstbestendig Big Data Platform

Een groot data platform moet gebouwd worden volgens de belangrijkste architecturale richtlijnen om ervoor te zorgen dat het toekomstbestendig is, zodat bronnen gemakkelijk geschaald kunnen worden, overgezet kunnen worden tussen verschillende on-premise en cloud infrastructuren, diensten geüpgraded en vervangen kunnen worden en de data verzamel- en uitwisselingsmechanismen uitgebreid kunnen worden.

  • Modulaire data lagen: Alle lagen van het platform moeten goed gedefinieerd en geïntegreerd zijn, van de data ingestion-laag tot de data visualisatie- en BI-laag. Elke laag moet gebruik maken van de beste services of tools, wat meestal vereist dat de architectuur niet afhankelijk is van een “black box” oplossing en de configuratie en integratie mogelijk maakt van standalone tools en services die specifieke functionaliteit bieden.

  • Gecontaineriseerde toepassingen: Het platform moet data opname-, verwerkings- en analyseprocedures en -toepassingen in containers onderbrengen met behulp van orkestratieplatforms zoals Kubernetes. Containers bieden een logisch verpakkingsmechanisme waarin applicaties kunnen worden losgekoppeld van de runtime-omgeving, waardoor gecontaineriseerde workloads op verschillende soorten infrastructuur kunnen worden uitgevoerd. Dit vergemakkelijkt de overdraagbaarheid van platformtoepassingen op verschillende on-premise en cloud infrastructuren en de inzet op meerdere cloud's.

  • Op microservices gebaseerde architectuur: Platformtoepassingen moeten worden opgesplitst in microservices, die elk een specifieke functie hebben en met elkaar interageren. Dit vergemakkelijkt het bouwen en onderhouden van applicaties, maakt onafhankelijke implementatie en schaling van microservices mogelijk, en maakt een snelle en frequente levering van grote complexe applicaties mogelijk.

  • Standaarddiensten en -hulpmiddelen: De selectie van tools en diensten voor het platform moet gericht zijn op gedeelde industriestandaarden (open standaarden) en moet minder afhankelijk zijn van de standaarden die specifiek zijn voor één enkele technologieleverancier. Het platform moet bijvoorbeeld cloud-diensten bevatten die gemeenschappelijk zijn voor meerdere cloud-dienstverleners. Dit vergemakkelijkt de migratie tussen verschillende on-premise en cloud infrastructuren en multi-cloud implementaties, waardoor kosten en tijd gereduceerd worden.

  • Robuust data governance: Vanaf het begin moet het platform een robuust data governance raamwerk bevatten in de vorm van governance tools, diensten, processen, controles en regels die zorgen voor voortdurende bewaking en verbetering van de data kwaliteit, veilige toegang tot data en data analytics, privacybescherming, compliant opslag en verwerking, en gestandaardiseerd data en metadata beheer. Dit vergemakkelijkt het schalen van de middelen en mogelijkheden van het platform, en maakt een brede toepassing van data analytische oplossingen en het gebruik van beschikbare datasets mogelijk.

“Een aanpasbaar en modulair platform dat mee kan schalen met de ontwikkeling van de bedrijfsbehoeften is te verkiezen boven een “black box” platform dat goed geïntegreerd is, maar beperkte aanpassingen toelaat. Deze platformarchitecturen kunnen volledig of gedeeltelijk in de cloud worden gebouwd om de voordelen van cloud computing, zoals schaalbaarheid en kostenefficiëntie, te benutten en tegelijkertijd te voldoen aan de privacy- en beveiligingsvereisten van de data beschermingsvoorschriften.”
Faisal Najmuddin, Data Engineering Manager bij Artefact

Samenvattend, een groot data platform biedt organisaties meerdere voordelen, zoals het centraliseren van data bronnen, het mogelijk maken van geavanceerde data analytische oplossingen en het bieden van ondernemingsbrede toegang tot data analytische oplossingen en bronnen. Het implementeren van een groot data platform brengt echter een aantal strategische beslissingen met zich mee, zoals het kiezen van de juiste infrastructuur(en), het aannemen van een toekomstbestendige architectuur, het selecteren van standaard en “migreerbare” diensten, het zorgvuldig afwegen van regelgeving op het gebied van data bescherming, en tot slot het definiëren van een optimaal evolutieplan dat nauw verbonden is met de bedrijfsvereisten en het maximaliseren van het rendement op de data investering.