{"id":71246,"date":"2023-07-03T16:06:12","date_gmt":"2023-07-03T15:06:12","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=71246"},"modified":"2024-09-20T17:45:57","modified_gmt":"2024-09-20T16:45:57","slug":"big-data-platform-a-foundation-for-data-solutions-guidelines-for-a-future-proof-and-purpose-built-platform","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/big-data-platform-a-foundation-for-data-solutions-guidelines-for-a-future-proof-and-purpose-built-platform\/","title":{"rendered":"Gro\u00dfe Data-Plattform: Eine Grundlage f\u00fcr Data-L\u00f6sungen | Richtlinien f\u00fcr eine zukunftssichere und zweckbestimmte Plattform"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Oussama Ahmad<\/h3><\/div>

Partner von Data und Digital Consulting bei Artefact MENA<\/p>\n<\/div><\/div><\/div>

Autor<\/h2><\/div>\"Image\"

Anthony Cassab<\/h3><\/div>

Data Beratungsdirektor bei Artefact MENA<\/p>\n<\/div><\/div><\/div>

Autor<\/h2><\/div>\"Image\"

Faisal Najmuddin<\/h3><\/div>

Data Engineering Manager bei Artefact MENA<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Im heutigen digitalen Zeitalter stehen Unternehmen vor der Herausforderung, mit dem beispiellosen Tempo der data-Erzeugung und der F\u00fclle von Unternehmenssystemen und digitalen Technologien, die alle Arten von data sammeln, Schritt zu halten. Hinzu kommt die Notwendigkeit, diese gro\u00dfen Mengen an data schnell und effizient zu analysieren, um Erkenntnisse und Intelligenz zu generieren und so den Gesch\u00e4ftswert zu maximieren. Infolgedessen sind Big data platforms zu einer wesentlichen Grundlage f\u00fcr Unternehmen geworden, um effizient data L\u00f6sungen einzusetzen, die zeitnahe data-driven Gesch\u00e4ftsentscheidungen und Wettbewerbsvorteile erm\u00f6glichen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

\n
\u201cData-Analyse- und Intelligenzl\u00f6sungen verbreiten sich in Unternehmen, um das Gesch\u00e4ftswachstum zu erm\u00f6glichen. Unternehmen sollten gro\u00dfe data platforms als solide Grundlage f\u00fcr den Einsatz von data-L\u00f6sungen in gro\u00dfem Ma\u00dfstab aufbauen. Diese data platforms sollten speziell f\u00fcr Unternehmen entwickelt werden, denn sie sind nur so gut wie die Erkenntnisse und die Intelligenz, die sie erm\u00f6glichen. Und sie sollten zukunftssicher sein und von den st\u00e4ndigen Fortschritten bei data-Infrastrukturdiensten und -Technologien profitieren.\u201d<\/div>\n
Oussama Ahmad, Data Beratender Partner bei Artefact<\/div>\n<\/blockquote>\n<\/div>

Hauptziele der Big Data Plattform<\/h2><\/div>

Big data platforms zielt darauf ab, data-Silos aufzubrechen und die verschiedenen Arten von data-Quellen zu integrieren, die f\u00fcr die Implementierung fortschrittlicher data-Analysen und Intelligence-L\u00f6sungen erforderlich sind. Sie bieten eine skalierbare und flexible Infrastruktur f\u00fcr das Sammeln, Speichern und Analysieren gro\u00dfer Mengen von data aus verschiedenen Quellen. Diese Plattformen sollten erstklassige data-Verwaltungsdienste und -Technologien nutzen und drei wichtige Ziele erf\u00fcllen:<\/p>\n<\/div>

  • <\/i><\/span>
    \n

    data-Quellen zentralisieren<\/strong>: Ein Big data platform sollte data-Silos aufbrechen, indem es automatisch verschiedene Arten und Gr\u00f6\u00dfen von data-Quellen aus data-Systemen von Unternehmen und data-Quellen von Dritten aufnimmt und speichert. Es sollte das zentrale data-Repository werden, das eine einzige Quelle der Wahrheit f\u00fcr alle data-Quellen bietet, die f\u00fcr data-Analysel\u00f6sungen ben\u00f6tigt werden.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Aktivieren Sie data-Analysel\u00f6sungen<\/strong>: Ein gro\u00dfes data platform sollte eine robuste Infrastruktur f\u00fcr die Entwicklung, den Betrieb und die Bereitstellung verschiedener Arten von Analysel\u00f6sungen (von einfachen Berichten bis hin zu fortgeschrittenem maschinellem Lernen) bieten, um den gesch\u00e4ftlichen Bedarf an Informationen und Erkenntnissen f\u00fcr die Entscheidungsfindung zu decken.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Gew\u00e4hrleisten Sie einen gesetzeskonformen und sicheren Zugang zum data und zu Anwendungen<\/strong>: Mit einem gro\u00dfen data platform sollten Unternehmen in der Lage sein, sowohl internen als auch externen Beteiligten einen konsolidierten, sicheren data-Zugang zu bieten. Au\u00dferdem sollte es data auf eine Art und Weise speichern, verarbeiten und verteilen, die den lokalen data-Gesetzen und -Vorschriften sowie den internationalen Standards und Best Practices entspricht.<\/p>\n<\/div><\/li><\/ul>

    Infrastruktur der Big Data Plattform<\/h2><\/div>

    Es gibt mehrere Infrastrukturoptionen f\u00fcr ein gro\u00dfes data platform: vollst\u00e4ndig vor Ort, vollst\u00e4ndig cloud oder hybride cloud\/On-Premise, jede mit ihren eigenen Vorteilen und Herausforderungen. Unternehmen sollten bei der Wahl der am besten geeigneten Infrastrukturoption f\u00fcr ihr gro\u00dfes data platform eine Reihe von Faktoren ber\u00fccksichtigen, darunter data Sicherheits- und Residenzanforderungen, data Quellintegrationen, Anforderungen an Funktionalit\u00e4t und Skalierbarkeit sowie Kosten und Zeit. Eine vollst\u00e4ndig cloud-basierte Architektur bietet niedrigere und besser vorhersehbare Kosten, sofort einsatzbereite Dienste und Integrationen sowie schnelle Skalierbarkeit, aber keine Kontrolle \u00fcber die Hardware und erf\u00fcllt m\u00f6glicherweise nicht die data Datenschutz- und Aufenthaltsbestimmungen. Eine vollst\u00e4ndig vor Ort installierte Architektur bietet die volle Kontrolle \u00fcber die Hardware und die data-Sicherheit, erf\u00fcllt in der Regel die Datenschutz- und Aufenthaltsbestimmungen, verursacht jedoch h\u00f6here Kosten und erfordert eine langfristige Planung f\u00fcr die Skalierung. Eine hybride cloud\/vor-Ort-Architektur bietet das Beste aus beiden Welten und erleichtert die vollst\u00e4ndige Migration auf das cloud zu einem sp\u00e4teren Zeitpunkt, kann aber eine komplexere Einrichtung erfordern.<\/p>\n

    Viele Unternehmen entscheiden sich f\u00fcr eine hybride Infrastruktur f\u00fcr ihre gro\u00dfen data platforms, weil sie hochsensible data (z.B. Kunden- und Finanzdaten) auf ihren eigenen Servern aufbewahren m\u00fcssen oder weil es an staatlich zertifizierten cloud Service Providern (CSPs) fehlt, die die lokalen data Datenschutz- und Residenzanforderungen erf\u00fcllen. Diese Organisationen ziehen es auch vor, cloud-native oder nicht sensible data-Quellen im cloud zu behalten, um die Kosten f\u00fcr Speicher- und Rechenressourcen zu optimieren und die Vorteile von sofort verf\u00fcgbaren data-Analysen und maschinellen Lerndiensten von CSPs zu nutzen. Andere Unternehmen, die keine organisatorischen oder gesetzlichen Anforderungen an die Ans\u00e4ssigkeit von data innerhalb des Unternehmens oder Landes haben, entscheiden sich f\u00fcr eine vollst\u00e4ndig cloud-basierte Infrastruktur, um die Implementierungszeit zu verk\u00fcrzen, die Kosten zu optimieren und leicht skalierbare Ressourcen zu nutzen.<\/p>\n<\/div>

    <\/span><\/div>

    Abbildung 1: Hybride Cloud & On-Premise Data Plattform-Infrastruktur<\/i><\/span><\/p>\n<\/div>

    Ein gro\u00dfes data platform umfasst in der Regel die Einrichtung von sieben Hauptebenen, die den data-Lebenszyklus von \u201crohem data\u201d \u00fcber \u201cInformationen\u201d bis hin zu \u201cErkenntnissen\u201d widerspiegeln. Unternehmen sollten sorgf\u00e4ltig \u00fcberlegen, welche Dienste und Tools f\u00fcr jede dieser Schichten erforderlich sind, um einen nahtlosen data-Flow und eine effiziente Generierung von data-Einsichten zu gew\u00e4hrleisten. Diese Dienste und Tools sollten in jeder Schicht der Big data platform wichtige Funktionen erf\u00fcllen, wie in Abbildung 2: Big Data Platform Data Layers dargestellt.<\/p>\n<\/div>

    <\/span><\/div>

    Abbildung 2: Gro\u00dfe Data-Plattform Data-Schichten
    \n<\/i><\/span><\/p>\n<\/div>

    Die Entwicklung der Big Data Plattform<\/h2><\/div>

    Die Entwicklung eines Big data platform sollte mehrere Stufen durchlaufen, beginnend mit einer Minimum Viable Platform (MVP) und fortgesetzt mit schrittweisen Upgrades. Ein Unternehmen sollte die Entwicklung seines Big data platform mit den gestiegenen Anforderungen an umfassendere und schnellere data Einblicke und Intelligenz f\u00fcr Gesch\u00e4ftsentscheidungen synchronisieren. Diese gestiegenen Anforderungen wirken sich auf die Komplexit\u00e4t des Big data platform in Bezug auf data-Analysel\u00f6sungen, data-Quellenvolumen und -typen sowie interne und externe Benutzer aus. Die Entwicklung des gro\u00dfen data platform umfasst die Hinzuf\u00fcgung von mehr Speicher- und Rechenressourcen, erweiterte Funktionen und Funktionalit\u00e4ten sowie Verbesserungen bei der Sicherheit und Verwaltung der Plattform.<\/p>\n<\/div>

    <\/span><\/div>

    Schaubild 3: Big Data Plattform Entwicklung<\/i><\/span><\/p>\n<\/div>

    \n
    \u201cWir haben festgestellt, dass viele Unternehmen dazu neigen, Big data platforms vom ersten Tag an mit erweiterten und unn\u00f6tigen Funktionen auszustatten, was die Betriebskosten f\u00fcr die Technologie erh\u00f6ht. Eine gro\u00dfe data platform-Implementierung sollte mit einer minimal funktionsf\u00e4higen Plattform beginnen und auf der Grundlage der gesch\u00e4ftlichen und technologischen Anforderungen weiterentwickelt werden. In den fr\u00fchen Phasen des Aufbaus der Plattform sollten Unternehmen eine robuste data governance- und Verwaltungsschicht implementieren, die data-Qualit\u00e4t, Datenschutz, Sicherheit und die Einhaltung lokaler und regionaler data-Gesetze gew\u00e4hrleistet.\u201d<\/div>\n
    \u00a0Anthony Cassab, Data Beratender Direktor bei Artefact<\/div>\n<\/blockquote>\n<\/div>

    Richtlinien f\u00fcr eine zukunftssichere Big Data Plattform<\/h2><\/div>

    Ein gro\u00dfes data platform sollte nach wichtigen architektonischen Richtlinien aufgebaut werden, um sicherzustellen, dass es zukunftssicher ist und eine einfache Skalierbarkeit der Ressourcen, die \u00dcbertragbarkeit \u00fcber verschiedene On-Premise- und cloud-Infrastrukturen, die Aufr\u00fcstung und den Ersatz von Diensten und die Erweiterung der data-Sammel- und Austauschmechanismen erm\u00f6glicht.<\/p>\n<\/div>

    • <\/i><\/span>
      \n

      Modulare data Schichten<\/strong>: Alle Plattformschichten sollten gut definiert und integriert sein, von der data-Ingestion-Schicht bis zur data-Visualisierungs- und BI-Schicht. Jede Schicht sollte erstklassige Dienste oder Tools nutzen. Das bedeutet in der Regel, dass sich die Architektur nicht auf eine \u201cBlackbox\u201d-L\u00f6sung st\u00fctzt und die Konfiguration und Integration von eigenst\u00e4ndigen Tools und Diensten erm\u00f6glicht, die bestimmte Funktionen bieten.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Containerisierte Anwendungen<\/strong>: Die Plattform sollte data Aufnahme-, Verarbeitungs- und Analyseverfahren und -anwendungen mithilfe von Orchestrierungsplattformen wie Kubernetes containerisieren. Container bieten einen logischen Paketierungsmechanismus, mit dem Anwendungen von der Laufzeitumgebung abstrahiert werden k\u00f6nnen, so dass containerisierte Arbeitslasten auf verschiedenen Arten von Infrastrukturen ausgef\u00fchrt werden k\u00f6nnen. Dies erleichtert die \u00dcbertragbarkeit von Plattformanwendungen \u00fcber verschiedene Vor-Ort- und cloud-Infrastrukturen und den Einsatz \u00fcber mehrere clouds.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Microservices-basierte Architektur<\/strong>: Plattformanwendungen sollten in Microservices aufgeteilt werden, die jeweils eine bestimmte Funktion erf\u00fcllen und miteinander interagieren. Dies erleichtert die Erstellung und Wartung von Anwendungen, erm\u00f6glicht die unabh\u00e4ngige Bereitstellung und Skalierung von Microservices und erm\u00f6glicht die schnelle und h\u00e4ufige Bereitstellung gro\u00dfer komplexer Anwendungen.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Standarddienste und Tools<\/strong>: Die Auswahl der Tools und Dienste f\u00fcr die Plattform sollte sich auf gemeinsame Industriestandards (offene Standards) konzentrieren und die Abh\u00e4ngigkeit von denjenigen, die f\u00fcr einen einzelnen Technologieanbieter spezifisch sind, verringern. So sollte die Plattform beispielsweise cloud-Dienste enthalten, die von mehreren cloud-Dienstanbietern genutzt werden. Dies erleichtert die Migration zwischen verschiedenen Vor-Ort- und cloud-Infrastrukturen und Multi-cloud-Implementierungen, was Kosten und Zeit spart.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Robust data governance<\/strong>: Die Plattform sollte von Anfang an einen robusten data governance-Rahmen in Form von Governance-Tools, Diensten, Prozessen, Kontrollen und Regeln enthalten, die eine kontinuierliche \u00dcberwachung und Verbesserung der data-Qualit\u00e4t, einen sicheren Zugang zu data und data-Analysen, den Schutz der Privatsph\u00e4re, eine konforme Speicherung und Verarbeitung sowie eine standardisierte data- und Metadata-Verwaltung gew\u00e4hrleisten. Dies erleichtert die Skalierung der Plattformressourcen und -f\u00e4higkeiten und erleichtert die breite Einf\u00fchrung von data-Analysel\u00f6sungen und die Nutzung verf\u00fcgbarer data-Sets.<\/p>\n<\/div><\/li><\/ul>

      \n
      \u201cEine anpassungsf\u00e4hige und modulare Plattform, die mit den sich entwickelnden Gesch\u00e4ftsanforderungen skaliert werden kann, ist einer \u201cBlack Box\u201d-Plattform vorzuziehen, die zwar gut integriert ist, aber nur eine begrenzte Anpassung erlaubt. Diese Plattformarchitekturen k\u00f6nnen ganz oder teilweise im cloud aufgebaut werden, um die Vorteile des cloud-Computings, wie Skalierbarkeit und Kosteneffizienz, zu nutzen und gleichzeitig die Datenschutz- und Sicherheitsanforderungen der data-Schutzvorschriften zu erf\u00fcllen.\u201d<\/div>\n
      Faisal Najmuddin, Data Engineering Manager bei Artefact<\/div>\n<\/blockquote>\n<\/div>

      Zusammenfassend l\u00e4sst sich sagen, dass ein gro\u00dfes data platform Unternehmen zahlreiche Vorteile bietet, wie z.B. die Zentralisierung von data-Quellen, fortschrittliche data-Analysel\u00f6sungen und den unternehmensweiten Zugriff auf data-Analysel\u00f6sungen und Quellen. Die Implementierung eines gro\u00dfen data platform erfordert jedoch eine Reihe strategischer Entscheidungen, wie z.B. die Wahl der richtigen Infrastruktur(en), die Einf\u00fchrung einer zukunftssicheren Architektur, die Auswahl von Standard- und \u201cmigrierbaren\u201d Diensten, die sorgf\u00e4ltige Ber\u00fccksichtigung von data-Schutzbestimmungen und schlie\u00dflich die Definition eines optimalen Entwicklungsplans, der eng mit den Gesch\u00e4ftsanforderungen verkn\u00fcpft ist und die Rendite der data-Investitionen maximiert.<\/p>\n<\/div><\/div><\/div><\/div><\/article><\/p>","protected":false},"excerpt":{"rendered":"

      Big data platform ist f\u00fcr Unternehmen zu einer wichtigen Grundlage f\u00fcr die effiziente Bereitstellung von data-L\u00f6sungen geworden.<\/p>","protected":false},"featured_media":71255,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[22035],"blog-language":[2991],"class_list":["post-71246","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-data-ai-consulting","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog\/71246","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/71255"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=71246"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-category?post=71246"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-language?post=71246"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}