{"id":67163,"date":"2022-05-24T13:58:03","date_gmt":"2022-05-24T12:58:03","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=67163"},"modified":"2024-09-20T17:45:49","modified_gmt":"2024-09-20T16:45:49","slug":"a-manifesto-to-include-ml-engineer-in-your-data-science-projects-from-day-1","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/a-manifesto-to-include-ml-engineer-in-your-data-science-projects-from-day-1\/","title":{"rendered":"Ein Manifest zur Einbeziehung von ML Engineers in Ihre data-Wissenschaftsprojekte von Tag 1 an"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Jeff Kayne<\/h3><\/div>

Leitender Data-Wissenschaftler bei Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lesen Sie unseren Artikel \u00fcber<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

In diesem Meinungsartikel erkl\u00e4rt Jeffery, dass data-Wissenschaftler sich auf die Genauigkeit ihrer Modelle konzentrieren sollten, w\u00e4hrend ML-Ingenieure vor allem sicherstellen sollten, dass die Modelle von einem gr\u00f6\u00dferen Unternehmen genutzt werden k\u00f6nnen. <\/p>\n<\/div><\/div><\/div><\/div><\/div>

Viele von uns Entwicklern kennen das Gef\u00fchl, die Zeit, die wir mit den Benutzern verbringen, um ihre Bed\u00fcrfnisse zu verstehen, mit der eigentlichen Softwareentwicklung zu vereinbaren. In der data-Wissenschaft ist dies noch offensichtlicher, denn um ein effektives System zu entwickeln, ist eine Menge Fachwissen \u00fcber dieses System erforderlich. In den letzten paar Jahren habe ich als ML-Ingenieur mit verschiedenen data Wissenschaft<\/a> Teams habe ich mich oft gefragt, wie ich die Verantwortung f\u00fcr die Optimierung der Modellgenauigkeit und die Erstellung der gesamten Software, die f\u00fcr die Funktion dieses Modells erforderlich ist, voneinander trennen kann. Meiner bescheidenen Meinung nach sollten data-Wissenschaftler der Genauigkeit ihrer Modelle den Vorrang geben, w\u00e4hrend ML-Ingenieure daf\u00fcr sorgen sollten, dass diese Modelle vom gesamten Unternehmen genutzt werden k\u00f6nnen.<\/p>\n<\/div>

Als allgemeine Faustregel f\u00fcr data-Wissenschaftsprojekte gilt: Je mehr Iterationen Sie durchf\u00fchren, desto besser. Schauen wir uns also an, warum die Einbeziehung eines ML-Ingenieurs vom ersten Tag an Ihnen bei der Iteration helfen wird und somit Ihre Chancen auf ein erfolgreiches System erh\u00f6ht. Um alle Aspekte abzudecken, werden wir jeden Grund in drei Hauptthemen von data-Wissenschaftsprojekten aufschl\u00fcsseln:\u00a0data, Modelle\u00a0<\/strong>und\u00a0Infrastruktur<\/strong>.<\/p>\n

Bevor ich darauf eingehe, lassen Sie mich kurz definieren, was ich mit\u00a0Iteration<\/strong>. In diesem Artikel beziehe ich mich auf die End-to-End-Iterationen des kompletten Produkts, die oft die folgenden Schritte umfassen: data-Ingestion, Vorverarbeitung, Modelltraining und -bewertung, Bereitstellung der Infrastruktur usw. Was ich\u00a0bedeuten nicht\u00a0<\/em>ist eine schnelle Iteration des Modells in einem Notizbuch mit der \u00c4nderung eines Hyperparameters. Wenn Sie es gewohnt sind, in einem agilen Rahmen zu arbeiten, k\u00f6nnen Sie sich diese Iterationen auch als Projektsprints vorstellen.<\/p>\n<\/div>

Grund 1: Beschleunigen Sie die erste POC-Ausgabe<\/h2><\/div>
\"Reason<\/span><\/div>

Die Erstellung eines Skeletts, auf dem Sie aufbauen k\u00f6nnen, ist die erste Priorit\u00e4t und kann ein langwieriger Prozess sein. Bei diesem Grundger\u00fcst handelt es sich in der Regel um ein POC, das Ihr anf\u00e4ngliches Basismodell und eine Demo einer Anwendung oder einer M\u00f6glichkeit zur Nutzung der Ergebnisse des Modells enth\u00e4lt.<\/p>\n<\/div>

Ein ML Engineer hilft Ihnen dabei:<\/h3><\/div>

Infrastruktur:\u00a0<\/strong>Die Auswahl kompatibler cloud-Ressourcen (VMs, Verbindungen zu verschiedenen data-Quellen) und das Design der cloud-Architektur sind einige der ersten \u00dcberlegungen des ML-Ingenieurs.<\/p>\n

Data:\u00a0<\/strong>Beschaffung der notwendigen data, um mit dem Aufbau eines Modells zu beginnen und die Verf\u00fcgbarkeit von data aus verschiedenen Quellen zu gew\u00e4hrleisten, mit der Option, bei Bedarf neue Str\u00f6me zu entwickeln.<\/p>\n

Modelle:<\/strong>\u00a0Sicherstellung, dass die getesteten Modelle tats\u00e4chlich mit der vorgeschlagenen cloud-Architektur f\u00fcr die Modellbereitstellung und den technischen Anforderungen (z. B. Latenz, erforderliche Rechenleistung, Anforderungen an die Produktionsumgebung) kompatibel sind.<\/p>\n

Der ML Engineer kann in dieser Phase auch bei der Definition von Best Practices f\u00fcr die Softwareentwicklung mit Versionskontrolle, Linting, Code-Architektur, Tests usw. helfen.<\/p>\n<\/div>

Grund 2: Beschleunigen Sie jede Iteration<\/h2><\/div>
\"Reason<\/span><\/div>

Sobald Sie das erste Modell erstellt haben, sind die ersten paar Iterationen oft schwierig und langsam. Wenn Sie die Iterationen beschleunigen, k\u00f6nnen Sie kleinere Iterationen mit einer einzigen Funktions\u00e4nderung durchf\u00fchren - eine viel effektivere Art der Entwicklung, als viele Dinge an einem Modell zu \u00e4ndern, bevor Sie Feedback erhalten.<\/p>\n

Infrastruktur:<\/strong>\u00a0Durch die Optimierung der Speicher- und Recheninfrastruktur kann Zeit gespart werden. W\u00e4hrend dieser Iterationen kann ein ML-Ingenieur die Infrastruktur selbst versionieren, mit Infrastructure as Code (IaC) Tools wie\u00a0Terraform<\/a>. Die Verwendung von IaC erm\u00f6glicht die Automatisierung der Infrastrukturbereitstellung direkt mit CI\/CD-Pipelines, die Beschleunigung der Integration von \u00c4nderungen, die an der bestehenden Infrastruktur vorgenommen werden m\u00fcssen, und die Erstellung verschiedener cloud-Umgebungen (Dev, Staging, Production). Auch die Verwendung spezifischer cloud-Komponenten kann Ihre Arbeitsabl\u00e4ufe beschleunigen, z.B. die Erstellung von Images aus der Ferne mit der GCP\u00a0Wolke bauen<\/a>.<\/p>\n<\/div>

Data:\u00a0<\/strong>Preprocessing-Pipelines k\u00f6nnen von data-Wissenschaftsteams schnell aufgebaut werden, um schnell zur Modellierung zu gelangen. Ein ML-Ingenieur kann Ihnen in dieser Phase helfen, Ihre Verarbeitungsabfragen zu optimieren, sei es in Sql, Pandas, Pyspark usw. Wenn Sie dies fr\u00fchzeitig tun, k\u00f6nnen Sie auf lange Sicht viel Zeit bei den Iterationen sparen, da dieser Code ausgef\u00fchrt wird\u00a0eine Menge<\/em>.<\/p>\n

Modelle:\u00a0<\/strong>komplexe Modellarchitekturen k\u00f6nnen zu einem langwierigen Trainingsprozess f\u00fchren. Wenn sich ein data-Wissenschaftler auf ein \u201cModell\u201d bezieht, kann er in Wirklichkeit eine Gruppe von 100 Modellen meinen, die auf verschiedenen Slices des data trainiert wurden, jedes mit einem SHAP-Erkl\u00e4rer zur Ableitung der Merkmalsbedeutung. Ein ML-Ingenieur kann sich darauf konzentrieren, wie die Trainingspipeline parallelisiert werden kann, sei es auf einer VM mit Multiprocessing in Python oder durch die Verteilung Ihrer Arbeitslast auf mehrere Knoten auf dem cloud. Auch dies kann wiederholt werden, aber mit \u00fcberraschend wenig Aufwand lassen sich hier gro\u00dfe Fortschritte erzielen. Automatisieren Sie die Bereitstellung Ihres Modells mit einer\u00a0CI\/CD\/CT<\/a>\u00a0Pipeline beschleunigt auch Ihre Iterationen und gew\u00e4hrleistet Wiederholbarkeit.<\/p>\n<\/div>

Grund 3: Reduzieren Sie die Kosten f\u00fcr jede Iteration<\/h2><\/div>
\"Reason<\/span><\/div>

Ein Ingenieur, der das cloud-Budget Ihres Projekts \u00fcberwacht, ist von entscheidender Bedeutung, insbesondere bei data-intensiven Anwendungen.<\/p>\n

Infrastruktur:\u00a0<\/strong>Die Kosten sind eine wichtige Variable in der Gleichung f\u00fcr die Auswahl der Infrastruktur. Sobald die Infrastruktur ausgew\u00e4hlt ist, k\u00f6nnen Budgetwarnungen eingerichtet werden, um sicherzustellen, dass kostspielige Komponenten genau \u00fcberwacht werden.<\/p>\n

Data:\u00a0<\/strong>Intelligente Abfragen und die Speicherung von data k\u00f6nnen auch die Kosten jeder Iteration erheblich reduzieren. Zum Beispiel sollte die Aggregation von data w\u00e4hrend der Modelliterationen nur sparsam durchgef\u00fchrt werden.<\/p>\n

Modelle:\u00a0<\/strong>Durch die Parallelisierung Ihrer Trainingspipeline k\u00f6nnen Sie auch die Betriebszeiten teurer Maschinen oder die Laufzeit von serverlosen Komponenten einsparen.<\/p>\n<\/div>

Grund 4: Sicherstellung der Wiederholbarkeit und Interpretierbarkeit jeder Iteration<\/h1><\/div>
\"Reason<\/span><\/div>

Schnelle Iterationen mit einer Qualit\u00e4ts-Feedback-Schleife in Ihrem Projekt zu erreichen, ist gro\u00dfartig, aber wenn Sie nicht jedes dieser Szenarien replay k\u00f6nnen, n\u00fctzt das nicht viel. Eine wiederholbare Pipeline bedeutet implizit, dass Sie eine M\u00f6glichkeit haben sollten, die Pipelinel\u00e4ufe zu \u00fcberwachen, um L\u00e4ufe auf der Grundlage bestimmter Parameter oder Leistungskennzahlen zu identifizieren, die Sie bei Bedarf wiederholen k\u00f6nnen. Wenn Sie dies w\u00e4hrend der Entwicklung robust einrichten, k\u00f6nnen data-Wissenschaftler frei experimentieren (ohne die ber\u00fcchtigte Untitled12.ipynb zu ben\u00f6tigen) und die Pipeline f\u00fcr die \u00dcberwachung in der Produktion vorbereiten.<\/p>\n<\/div>

Infrastruktur:\u00a0<\/strong>Die Verkn\u00fcpfung der Trainingscodeversion mit der Infrastrukturcodeversion ist hier die \u201cExtrameile\u201d, aber sie ist notwendig, um vollst\u00e4ndige Rollback-M\u00f6glichkeiten zu einem fr\u00fcheren Lauf zu bieten. Die Sicherstellung der Wiederholbarkeit und \u00dcberwachung auf der Basis von Pipeline-L\u00e4ufen ist f\u00fcr mich die wesentliche erste Stufe von ML Ops, die Teams anstreben sollten. Cloud-Plattformen haben Dienste (GCP's\u00a0Vertex AI<\/a>\u00a0zum Beispiel), die sich schnell einrichten lassen, aber Sie k\u00f6nnen auch den \u201cBest-of-Breed\u201d-Ansatz mit Open-Source-Tools in Betracht ziehen. Der Kompromiss besteht hier in der Abw\u00e4gung zwischen der gr\u00f6\u00dferen Funktionalit\u00e4t spezifischer Open-Source-Tools und der h\u00f6heren Komplexit\u00e4t der Gesamtinfrastruktur des Systems.<\/p>\n

Data:\u00a0<\/strong>Speichern aller data-Objekte in jeder Phase der Pipeline. Je nach Volumen werden vorrangig die Trainings-\/Tests\u00e4tze jedes Laufs gespeichert.<\/p>\n

Modelle:\u00a0<\/strong>wie oben, wobei Sie alle Modelle f\u00fcr jeden Lauf mit allen erforderlichen Parametern und Metriken speichern. Ein weiterer Tipp ist, einen Kommentar zu jedem Lauf zu protokollieren, der angibt, was f\u00fcr diesen spezifischen Lauf ge\u00e4ndert wurde, um alle Experimente w\u00e4hrend der Entwicklung zu protokollieren, wie Sie es mit einem\u00a0Git Commit<\/em>\u00a0Nachricht.<\/p>\n<\/div>

Grund 5: Vermeiden Sie auf jeden Fall die hektischen \u201cIndustrialisierungs\u201d-Iterationen<\/h1><\/div>
\"Reason<\/span><\/div>

Als die data-Wissenschaft aufkam, war sie sehr explorativ und erforderte einen enormen Aufwand mit einer Gruppe von Softwareingenieuren, um jedes Modell einzusetzen, sobald es gute Leistungen auf historischen data gezeigt hatte. Diese Phase der \u201cIndustrialisierung\u201d ist eine sehr schmerzhafte Erfahrung, da sich die Entwicklungsumgebung (flache Dateien & Python-Notebook) stark von der Produktionsumgebung (automatisierte data-Flows mit Produktions-data & Produktions-Coding-Umgebung) unterscheidet. Die erfolgreichsten Projekte, an denen ich gearbeitet habe, waren diejenigen, bei denen wir die Produktionsumgebung in der Entwicklungsphase so genau wie m\u00f6glich kopieren konnten. Dies verk\u00fcrzt die Zeit bis zur Produktion und erm\u00f6glicht es Ihnen, in der Entwicklungsumgebung sicher zu iterieren und die Produktionsumgebung zu nutzen, wenn Sie mit einer Iteration zufrieden sind.<\/p>\n

Infrastruktur:\u00a0<\/strong>Die Emulation der notwendigen Produktionsinfrastruktur in der Entwicklungsabteilung ist nicht immer einfach und kann kostspielig sein. Hier ist Infrastruktur als Code n\u00fctzlich und erm\u00f6glicht es Ihnen, problemlos zwischen verschiedenen Umgebungen zu wechseln.<\/p>\n<\/div>

Data: <\/strong>etwas, das die data-Wissenschaftsentwicklung von der traditionellen Softwareentwicklung oder sogar data-Engineering unterscheidet, ist, dass data-Wissenschaftler Produktions-data in der Entwicklung ben\u00f6tigen. Sandbox data (unter Ausschluss einiger data oder einschlie\u00dflich einiger synthetischer Test-data) f\u00fcr das regul\u00e4re data-Engineering ist eine gute Praxis w\u00e4hrend der Entwicklung, kann aber eine gro\u00dfe Zeitverschwendung f\u00fcr die data-Wissenschaft sein und kann gro\u00dfe Auswirkungen auf die gesamte data-Wissenschaftspipeline haben. Daher sollten Sie vom ersten Tag an mit Ihrem data-Team dar\u00fcber verhandeln, dass Sie nur Lesezugriff auf Produktionstabellen haben.<\/p>\n

Modelle:\u00a0<\/strong>Von Beginn des Projekts an sollte nur ein Modell (oder Modellierungsansatz) in Ihrem Produktionscode vorhanden sein. Alle Experimente sollten in Notizb\u00fcchern oder separaten tempor\u00e4ren Skripten in einem anderen Ordner bleiben. So vermeiden Sie, dass sich toter Code in Ihrer Produktionscodebasis ansammelt, und es ist einfacher, ihn zu pflegen oder andere Entwickler einzubinden.<\/p>\n<\/div>

Fazit<\/h2><\/div>

Zusammenfassend l\u00e4sst sich sagen, dass die Erstellung von Modellen und die Entwicklung der Software, die diese Modelle umgibt, von Beginn eines jeden Projekts an zwei Priorit\u00e4ten sein sollten. Getrennte Arbeitsabl\u00e4ufe mit unterschiedlichen Verantwortlichkeiten k\u00f6nnen den Teams helfen, sich auf beides parallel zu konzentrieren. Die Rolle des ML-Ingenieurs entwickelt sich von Tag zu Tag weiter, und ich w\u00fcrde mich freuen, wenn Sie mir sagen, was ich \u00fcbersehen habe!<\/p>\n<\/div><\/div><\/div><\/div><\/article>

<\/span><\/div>

Mittel Blog von Artefact.<\/h3><\/div>

Dieser Artikel wurde urspr\u00fcnglich ver\u00f6ffentlicht auf Medium.com<\/strong>.
\nFolgen Sie uns auf unserem Medium Blog !<\/p>\n<\/div>

Unseren Artikel lesen<\/span><\/a><\/div><\/div><\/div><\/div><\/div><\/p>","protected":false},"excerpt":{"rendered":"

Jeffrey Kane, Senior Data Scientist, erkl\u00e4rt, warum ML Engineer von Anfang an in Ihre data-Wissenschaftsprojekte eingebunden werden sollte.<\/p>","protected":false},"featured_media":68674,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[21939],"blog-language":[2991],"class_list":["post-67163","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-medium","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog\/67163","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/68674"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=67163"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-category?post=67163"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-language?post=67163"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}