ETL Framework – noventum Data Platform Accelerator (nDPA)
Erfahren Sie, wie noventum durch jahrelange Projekterfahrung den Aufbau von Analytics-Lösungen revolutioniert: Automatisierung von Generierung und Orchestrierung für maximale Effizienz
Durch viele Jahre Projekterfahrung haben sich in der noventum Methodik zum Aufbau von Analytics-Lösungen Bereiche herauskristallisiert, in denen sich Automatisierung besonders effektiv nutzen lässt:
Generierung:
Automatisierung bei der Erstellung von ETL-Prozessen: Das manuelle Erstellen von Stored Procedures zum Erstellen einer SCD2 Dimension ist sehr zeitaufwendig und fehlerträchtig. Das Logging, wie viele Zeilen in einem Lauf geschrieben, gelöscht oder aktualisiert wurden, wird oft vernachlässigt, weil es Zeit kostet und der Mehrwert erst bei der Fehlersuche deutlich wird.
Orchestrierung:
Traditionell werden DWHs schichtenweise beladen. Dies sorgt dafür, dass es zu Leerlaufzeiten kommt und die Beladung mancher Tabellen noch nicht startet, obwohl alle Abhängigkeiten bereits erfüllt sind. Die Umsetzung einer Beladung auf Basis von Abhängigkeiten ist allerdings aufwendig und wird daher meist nicht umgesetzt. Gerade in modernen hybriden Data Platforms mit Teilen On-Prem und Teilen in der Azure Cloud kommt der systemüübergreifenden Orchestrierung immer mehr Bedeutung zu.
Die Lösung im Detail
Vor diesem Hintergrund hat noventum den Data Platform Accelerator (nDPA) entwickelt, einen Werkzeugkasten, der obige Funktionalitäten umsetzt und Erfahrungen aus vergangenen Projekten integriert.
Vorteile der nDPA-Generierung
Erzeugung von Stored Procedures zur Beladung innerhalb der Datenbank
Viele Vorteile durch Generierung
Effizienter Code auf Basis langjähriger Erfahrung
Logging Mechanismen (Wann wurde welche Zeile erstellt oder verändert?)
Verarbeitung innerhalb DB und damit u. U. Performance-Verbesserungen zu SSIS
Neue Chancen für das kollaborative Entwickeln mit Azure DevOps und git durch den Fokus auf Stored Procedures und damit SQL Data Tools (SSDT)
Vorteile nDPA-Orchestrierung
Technologieübergreifende Orchestrierung von Azure Data Factory, SQL Server Integration Services und Stored Procedures
Orchestrierung nicht nach Schichten, sondern nach Abhängigkeiten und damit effizientere Beladung
Kunden bestätigen den massiven Performance-Gewinn:
Mittelständischer Hersteller Consumer Products – Ladevolumen 350 Mio. Zeilen – Performance-Gewinn von 2 Stunden auf 30 Minuten
Große deutsche Einzelhandelskette – Ladevolumen 200 Mio. Zeilen – Performance-Gewinn von 1,5 Stunden auf 15 Minuten
Gerne diskutieren wir mit Ihnen die Einsatzmöglichkeiten in Ihrer Umgebung. Innerhalb weniger Tage kann ein "Proof of Concept" die Vorteile vor Ort belegen.
Unternehmen erkennen zunehmend die Unumgänglichkeit von Self Service BI (SSBI), doch nicht selten scheitern sie an der Umsetzung und können deshalb die Potenziale nicht voll ausschöpfen.Mit diesem Beitrag wollen wir die folgende Frage beantworten: Welche Faktoren müssen erfüllt sein, damit die Zusammenarbeit zwischen zentraler BI-Organisation und Anwendern in den Fachbereichen – den so genannten „Power Usern“ – funktioniert und beide Seiten voneinander profitieren?
Mit Composite Models erweitert Microsoft das Einsatzspektrum von Power BI für Fachabteilungen in Unternehmen maßgeblich. Für die zentralen Business Intelligence- bzw. IT-Abteilungen entsteht gleichzeitig ein sehr starkes Instrument für Self-Service BI, um die Fachabteilungen unter Berücksichtigung ihrer Governance-Richtlinien mit neuen Freiheiten und Fähigkeiten auszustatten.
Bei noventum beschäftigen wir uns sehr oft mit der Anbindung von SAP-Systemen an Microsoft-basierte Data Platforms. Sowohl auf Azure mit ADF und Azure SSIS oder lokal mit SSIS und oftmals mit XtractIS von Theobald.
Die Königsdisziplin der Datenextraktion aus SAP ist das Anbinden von Daten über SAP BI Content Datasources.
Das Projektteam der Analyseplattform „CLAIR“ unseres langjährigen Kunden Zentrale Stelle Verpackungsregister (ZSVR) ist beim VOICE ENTSCHEIDERFORUM 2022 in Berlin in der Kategorie „Mittelstand“ für den „Best Data Project Award“ mit dem 2. Platz ausgezeichnet worden.
VOICE - Der Bundesverband der IT-Anwender e. V. gilt mit mehr als 400 Mitgliedern als größte Community von Digital-Entscheidern im deutschsprachigen Raum, dient CIOs führender Unternehmen aus unterschiedlichsten Branchen als Netzwerk und fördert den fachlichen Austausch und die Stärkung von IT-Anwenderinteressen.
