ETL Framework – noventum Data Platform Accelerator (nDPA)
Erfahren Sie, wie noventum durch jahrelange Projekterfahrung den Aufbau von Analytics-Lösungen revolutioniert: Automatisierung von Generierung und Orchestrierung für maximale Effizienz
Durch viele Jahre Projekterfahrung haben sich in der noventum Methodik zum Aufbau von Analytics-Lösungen Bereiche herauskristallisiert, in denen sich Automatisierung besonders effektiv nutzen lässt:
Generierung:
Automatisierung bei der Erstellung von ETL-Prozessen: Das manuelle Erstellen von Stored Procedures zum Erstellen einer SCD2 Dimension ist sehr zeitaufwendig und fehlerträchtig. Das Logging, wie viele Zeilen in einem Lauf geschrieben, gelöscht oder aktualisiert wurden, wird oft vernachlässigt, weil es Zeit kostet und der Mehrwert erst bei der Fehlersuche deutlich wird.
Orchestrierung:
Traditionell werden DWHs schichtenweise beladen. Dies sorgt dafür, dass es zu Leerlaufzeiten kommt und die Beladung mancher Tabellen noch nicht startet, obwohl alle Abhängigkeiten bereits erfüllt sind. Die Umsetzung einer Beladung auf Basis von Abhängigkeiten ist allerdings aufwendig und wird daher meist nicht umgesetzt. Gerade in modernen hybriden Data Platforms mit Teilen On-Prem und Teilen in der Azure Cloud kommt der systemüübergreifenden Orchestrierung immer mehr Bedeutung zu.
Die Lösung im Detail
Vor diesem Hintergrund hat noventum den Data Platform Accelerator (nDPA) entwickelt, einen Werkzeugkasten, der obige Funktionalitäten umsetzt und Erfahrungen aus vergangenen Projekten integriert.
Vorteile der nDPA-Generierung
Erzeugung von Stored Procedures zur Beladung innerhalb der Datenbank
Viele Vorteile durch Generierung
Effizienter Code auf Basis langjähriger Erfahrung
Logging Mechanismen (Wann wurde welche Zeile erstellt oder verändert?)
Verarbeitung innerhalb DB und damit u. U. Performance-Verbesserungen zu SSIS
Neue Chancen für das kollaborative Entwickeln mit Azure DevOps und git durch den Fokus auf Stored Procedures und damit SQL Data Tools (SSDT)
Vorteile nDPA-Orchestrierung
Technologieübergreifende Orchestrierung von Azure Data Factory, SQL Server Integration Services und Stored Procedures
Orchestrierung nicht nach Schichten, sondern nach Abhängigkeiten und damit effizientere Beladung
Große Datensätze aufzubereiten und für Analysen zu nutzen, um Verstöße gegen das Verpackungsgesetz aufzudecken: Um das zu erreichen, braucht es digitale Analysetools. Die Firma noventum consulting GmbH ist maßgeblich am Aufbau und der technischen Weiterentwicklung unseres Data Warehouse beteiligt, welches eines der zwei Kernkomponenten unserer Analyseplattform CLAIR darstellt. Besonders hervorzuheben ist zusätzlich die jüngst erfolgreiche Einführung des neuen ETL Frameworks, dem Data Platform Accelerator (nDPA), parallel zur regulären Weiterentwicklung unseres Data Warehouse. Dabei konnte die Quellcodeverwaltung durch eine metadatengesteuerte Stored Procedures Codegenerierung deutlich optimiert, die Verarbeitungsperformance und die Technologieunabhängigkeit erhöht werden. Dies und der gestiegene Standardisierungsgrad haben unsere Data-Warehouse-Lösung auf ein neues Niveau gehoben. Durch die agilen Anpassungsmöglichkeiten und die Zukunftssicherheit dieses Frameworks sind wir in der Lage, flexibler auf sich ändernde Analyse-Anforderungen zu reagieren.
Wolfram Nötzel, CIO Zentrale Stelle Verpackungsregister (ZSVR)
Kunden bestätigen den massiven Performance-Gewinn:
Mittelständischer Hersteller Consumer Products – Ladevolumen 350 Mio. Zeilen – Performance-Gewinn von 2 Stunden auf 30 Minuten
Große deutsche Einzelhandelskette – Ladevolumen 200 Mio. Zeilen – Performance-Gewinn von 1,5 Stunden auf 15 Minuten
Gerne diskutieren wir mit Ihnen die Einsatzmöglichkeiten in Ihrer Umgebung. Innerhalb weniger Tage kann ein "Proof of Concept" die Vorteile vor Ort belegen.
Wenn wir auch für Sie tätig werden können, freuen wir uns über Ihre Kontaktaufnahme.
Integrierte Datenanalysen sind für Unternehmen heute unverzichtbar. Die Kombination aus Microsoft Business Central und Power BI bietet eine flexible, leistungsstarke Lösung zur Analyse zentraler ERP-Daten. Business Central deckt Kernprozesse wie Finanzen, Einkauf oder Lager ab und ist tief in Microsoft 365 integriert. Der Artikel beleuchtet, wie eine direkte Anbindung gelingt, welche Vorteile sie bringt – und wo Herausforderungen liegen.
Was wäre, wenn man sein Datenmodell einfach fragen könnte: „Warum ist der Deckungsbeitrag von Produktgruppe XYZ so niedrig?“ – und eine fundierte Antwort bekäme? GenAI und Tools wie Claude, Copilot & Co. versprechen genau das. Doch wie gut klappt das wirklich? Und was bedeutet das für Data Experts, Power User und Governance? Ein Erfahrungsbericht zwischen Faszination und Verantwortung von Data & Analytics Experte Marco Nielinger.
Der nwb Verlag ist seit vielen Jahren ein geschätzter Kunde von noventum. In der BI-Landschaft des Verlags wurde klassisch mit SQL Server, SSIS und SSAS gearbeitet – in unserem etablierten DWH-Schichtenmodell, allerdings noch nicht mit dem noventum Data Platform Accelerator (nDPA) und daher mit einer inflexiblen, schichtenbasierten Beladung über geschachtelte SSIS-Pakete. Ziel eines aktuellen Projektes war es, den nDPA Orchestrator einzuführen, um bestehende ETL-Prozesse zu modernisieren und flexibler zu gestalten. Doch bevor der Orchestrator seine Arbeit aufnehmen konnte, stand eine mühsame Fleißarbeit an: die Abhängigkeitsanalyse von rund 500 SSIS-Paketen.
In der heutigen datengesteuerten Geschäftswelt ist data-driven decision making für globale Unternehmen von entscheidender Bedeutung. Die Sonepar Deutschland GmbH erkennt die Relevanz dieser Herangehensweise und setzt mit Microsoft Power BI auf ein effektives Reporting- und Analysewerkzeug. Als langjähriger Partner von Sonepar hat noventum consulting bereits im Jahr 2018 erfolgreich das zentrale Datawarehouse des Unternehmens neu mitgestaltet und konsolidiert. Nun sind wir in der Zusammenarbeit den nächsten Schritt gegangen: die Implementierung von Power BI zur Verbesserung des Berichtswesens und der Analysen.
