Autor

Autor

Autor

Im heutigen digitalen Zeitalter stehen Unternehmen vor der Herausforderung, mit der beispiellosen Geschwindigkeit der data und der Fülle von Unternehmenssystemen und digitalen Technologien, die alle Arten von data sammeln, Schritt zu halten. Gleichzeitig besteht die Notwendigkeit, diese großen data schnell und effizient zu analysieren, um Erkenntnisse und Informationen zu generieren und so den Geschäftswert zu maximieren. Infolgedessen sind data zu einer wesentlichen Grundlage für Unternehmen geworden, um data effizient einzusetzen, die zeitnahe data Geschäftsentscheidungen und Wettbewerbsvorteile ermöglichen.

"Data Analyse- und Intelligenzlösungen verbreiten sich in Unternehmen, um das Geschäftswachstum zu fördern. Unternehmen sollten große data Plattformen als solide Grundlage für den Einsatz von data Lösungen in großem Umfang aufbauen. Diese data Plattformen sollten speziell für Unternehmen entwickelt werden, da sie nur so gut sind wie die Geschäftseinblicke und die Intelligenz, die sie ermöglichen; und sie sollten zukunftssicher sein und von den ständigen Fortschritten bei data Infrastrukturdiensten und -technologien profitieren."
Oussama Ahmad, Data Beratungspartner bei Artefact

Hauptziele der Plattform Big Data

Big data Plattformen zielen darauf ab, data Silos aufzubrechen und die verschiedenen Arten von data Quellen zu integrieren, die für die Implementierung fortschrittlicher data Analyse- und Intelligence-Lösungen erforderlich sind. Sie bieten eine skalierbare und flexible Infrastruktur für das Sammeln, Speichern und Analysieren großer Mengen von data aus verschiedenen Quellen. Diese Plattformen sollten die besten data Verwaltungsdienste und -technologien nutzen und drei Hauptziele erfüllen:

  • Zentralisierung von data Quellen: Eine große data Plattform sollte data Silos aufbrechen, indem sie automatisch verschiedene Arten und Größen von data Quellen aus Unternehmenssystemen data und Quellen von Drittanbietern data aufnimmt und speichert. Sie sollte das zentrale data Repository werden und eine einzige Quelle der Wahrheit für alle data Quellen bieten, die für data Analyselösungen benötigt werden.

  • Ermöglichen Sie data Analyselösungen: Eine große data Plattform sollte eine robuste Infrastruktur für die Entwicklung, den Betrieb und die Bereitstellung verschiedener Arten von Analyselösungen (von einfachen Berichten bis hin zu fortgeschrittenem maschinellem Lernen) bieten, um den geschäftlichen Bedarf an Informationen und Erkenntnissen für die Entscheidungsfindung zu decken.

  • Gewährleistung eines rechtskonformen und sicheren Zugriffs auf data und Anwendungen: Mit einer großen data Plattform sollten Organisationen in der Lage sein, sowohl internen als auch externen Interessengruppen einen konsolidierten, sicheren data Zugang zu bieten. Außerdem sollte sie data in einer Weise speichern, verarbeiten und verteilen, die den lokalen data Gesetzen und Vorschriften sowie internationalen Standards und Best Practices entspricht.

Infrastruktur der Plattform Big Data

Es gibt mehrere Infrastrukturoptionen für eine data : vollständig vor Ort, vollständig cloud oder als Hybrid aus cloud, jede mit ihren eigenen Vorteilen und Herausforderungen. Unternehmen sollten bei der Auswahl der am besten geeigneten Infrastrukturoption für ihre data eine Reihe von Faktoren berücksichtigen, darunter die Anforderungen an die data und -speicherung, die Integration von data , die Anforderungen an Funktionalität und Skalierbarkeit sowie Kosten und Zeit. Eine vollständig cloud Architektur bietet niedrigere und besser vorhersehbare Kosten, sofort einsatzbereite Dienste und Integrationen sowie schnelle Skalierbarkeit, hat aber keine Kontrolle über die Hardware und erfüllt möglicherweise nicht die Vorschriften zum Datenschutz und zur data . Eine vollständig vor Ort installierte Architektur bietet die volle Kontrolle über die Hardware und die data , erfüllt in der Regel die Vorschriften zum Datenschutz und zur Datenaufbewahrung, verursacht jedoch höhere Kosten und erfordert eine langfristige Planung für die Skalierung. Eine hybride cloud bietet das Beste aus beiden Welten und erleichtert die vollständige Migration in die cloud zu einem späteren Zeitpunkt, kann aber eine komplexere Einrichtung erfordern.

Viele Unternehmen entscheiden sich für eine hybride Infrastruktur für ihre data , weil sie hochsensible data (z. B. Kunden- und data) auf ihren eigenen Servern aufbewahren müssen oder weil es keine staatlich zertifizierten cloud (CSPs) gibt, die die lokalen data und Residenzanforderungen erfüllen. Diese Unternehmen ziehen es auch vor, cloud oder nicht sensible data in der cloud zu halten, um die Kosten für Speicher- und Rechenressourcen zu optimieren und die Vorteile von sofort verfügbaren data und maschinellen Lerndiensten von CSPs zu nutzen. Andere Unternehmen, die keine organisatorischen oder gesetzlichen Anforderungen an die data innerhalb des Unternehmens oder Landes haben, entscheiden sich für eine vollständig cloud Infrastruktur, um die Implementierungszeit zu verkürzen, die Kosten zu optimieren und leicht skalierbare Ressourcen zu nutzen.

class="lazyload

Abbildung 1: Hybride Cloud und Data

Eine große data Plattform umfasst in der Regel sieben Hauptebenen, die den data Lebenszyklus von "Rohdaten data" über "Informationen" bis hin zu "Erkenntnissen" widerspiegeln. Unternehmen sollten sorgfältig prüfen, welche Dienste und Werkzeuge für jede dieser Ebenen erforderlich sind, um einen nahtlosen Datenfluss und eine effiziente Generierung von data Erkenntnissen zu gewährleisten. Diese Dienste und Werkzeuge sollten in jeder Schicht der Big data Plattform Schlüsselfunktionen übernehmen, wie in Abbildung 2: Big Data Plattform Data Schichten dargestellt.

class="lazyload

Abbildung 2: Big Data Plattform Data Schichten

Entwicklung der Plattform Big Data

Die Entwicklung einer großen data Plattform sollte mehrere Stufen durchlaufen, beginnend mit einer Minimum Viable Platform (MVP) und fortgesetzt mit schrittweisen Upgrades. Ein Unternehmen sollte die Entwicklung seiner großen data Plattform mit den gestiegenen Anforderungen an umfassendere und schnellere data Erkenntnisse und Informationen für Geschäftsentscheidungen synchronisieren. Diese gestiegenen Anforderungen wirken sich auf die Komplexität der großen data Plattform in Bezug auf data Analyselösungen, data Quellvolumen und -typen sowie interne und externe Benutzer aus. Die Entwicklung der großen data Plattform umfasst die Hinzufügung von mehr Speicher- und Rechenressourcen, erweiterte Funktionen und Funktionalitäten sowie Verbesserungen bei der Sicherheit und Verwaltung der Plattform.

class="lazyload

Schaubild 3: Big Data Plattformentwicklung

"Wir haben festgestellt, dass viele Unternehmen dazu neigen, große data Plattformen vom ersten Tag an mit erweiterten und unnötigen Funktionen auszustatten, was die Betriebskosten der Technologie erhöht. Die Bereitstellung einer großen data Plattform sollte mit einer minimal funktionsfähigen Plattform beginnen und auf der Grundlage der geschäftlichen und technischen Anforderungen weiterentwickelt werden. data In den frühen Phasen des Aufbaus der Plattform sollten Unternehmen eine robuste data Governance- und Verwaltungsebene implementieren, die die Qualität, den Datenschutz, die Sicherheit und die Einhaltung lokaler und regionaler data Gesetze gewährleistet."
 Anthony Cassab, Data Beratungsdirektor bei Artefact

Leitlinien für eine zukunftssichere Big Data Plattform

Eine data sollte nach wichtigen architektonischen Richtlinien aufgebaut werden, um sicherzustellen, dass sie zukunftssicher ist und eine einfache Skalierbarkeit der Ressourcen, die Übertragbarkeit auf verschiedene lokale und cloud , die Aufrüstung und den Austausch von Diensten sowie die Erweiterung der Mechanismen zur data und -weitergabe ermöglicht.

  • Modulare data Schichten: Alle Plattformschichten sollten gut definiert und integriert sein, von der data Ingestion-Schicht bis zur data Visualisierungs- und BI-Schicht. Jede Schicht sollte erstklassige Dienste oder Tools nutzen, was in der Regel voraussetzt, dass die Architektur nicht auf einer "Blackbox"-Lösung beruht und die Konfiguration und Integration von eigenständigen Tools und Diensten ermöglicht, die spezifische Funktionen bieten.

  • Containerisierte Anwendungen: Die Plattform sollte Verfahren und Anwendungen zur data , -verarbeitung und -analyse mithilfe von Orchestrierungsplattformen wie Kubernetes in Container verpacken. Container bieten einen logischen Paketierungsmechanismus, mit dem Anwendungen von der Laufzeitumgebung abstrahiert werden können, was die Ausführung von containerisierten Arbeitslasten auf verschiedenen Arten von Infrastrukturen ermöglicht. Dies erleichtert die Portabilität von Plattformanwendungen über verschiedene On-Premise- und cloud und die Bereitstellung über mehrere Clouds hinweg.

  • Microservices-basierte Architektur: Plattformanwendungen sollten in Microservices aufgeteilt werden, die jeweils eine bestimmte Funktion erfüllen und miteinander interagieren. Dies erleichtert die Erstellung und Wartung von Anwendungen, ermöglicht die unabhängige Bereitstellung und Skalierung von Microservices und ermöglicht die schnelle und häufige Bereitstellung großer komplexer Anwendungen.

  • Standarddienste und -werkzeuge: Die Auswahl der Werkzeuge und Dienste für die Plattform sollte sich auf gemeinsame Industriestandards (offene Standards) konzentrieren und die Abhängigkeit von solchen, die für einen einzelnen Technologieanbieter spezifisch sind, verringern. So sollte die Plattform beispielsweise cloud umfassen, die von mehreren cloud genutzt werden. Dies erleichtert die Migration zwischen verschiedenen On-Premise- und cloud und cloud , was Kosten und Zeit spart.

  • Robuste data Governance: Die Plattform sollte von Anfang an einen robusten data Governance-Rahmen in Form von Governance-Tools, -Diensten, -Prozessen, -Kontrollen und -Regeln enthalten, die eine kontinuierliche Überwachung und Verbesserung der data Qualität, einen sicheren Zugang zu data und data Analysen, den Schutz der Privatsphäre, eine konforme Speicherung und Verarbeitung sowie ein standardisiertes data und Metadatenmanagement gewährleisten. Dies erleichtert die Skalierung der Plattformressourcen und -fähigkeiten und erleichtert die breite Einführung von data Analyselösungen und die Nutzung verfügbarer Datensätze.

"Eine anpassungsfähige und modulare Plattform, die mit den sich entwickelnden Geschäftsanforderungen skaliert werden kann, ist einer "Black Box"-Plattform vorzuziehen, die zwar gut integriert ist, aber nur begrenzte Anpassungen zulässt. Diese Plattformarchitekturen können ganz oder teilweise in der cloud aufgebaut werden, um die Vorteile des cloud Computing, wie Skalierbarkeit und Kosteneffizienz, zu nutzen und gleichzeitig die Anforderungen an den Schutz der Privatsphäre und die Sicherheit der data zu erfüllen.
Faisal Najmuddin, Data Technischer Leiter bei Artefact

Zusammenfassend lässt sich sagen, dass eine große data Plattform Unternehmen zahlreiche Vorteile bietet, wie z. B. die Zentralisierung von data Quellen, die Ermöglichung fortschrittlicher data Analyselösungen und die Bereitstellung eines unternehmensweiten Zugriffs auf data Analyselösungen und Quellen. Die Implementierung einer großen data Plattform bringt jedoch eine Reihe strategischer Entscheidungen mit sich, wie z. B. die Auswahl der richtigen Infrastruktur(en), die Annahme einer zukunftssicheren Architektur, die Auswahl von Standard- und "migrierbaren" Diensten, die sorgfältige Berücksichtigung der data Schutzvorschriften und schließlich die Festlegung eines optimalen Entwicklungsplans, der eng mit den Geschäftsanforderungen verknüpft ist und die Rendite der data Investition maximiert.