Entwicklung einer Kafka-basierten Pipeline und eines interaktiven Graphen zur Erkennung von Energieanomalien
Während meines fünften Jahres an der HTL Krems (2023/24) musste jeder Schüler eine Diplomarbeit absolvieren – ein umfangreiches Projekt, das in zwei Hauptteile unterteilt war: theoretisch und praktisch. In Zweierteams verfassten wir eine theoretische Arbeit von etwa 100 Seiten, in der wir unser gewähltes Thema vorstellten, analysierten und erklärten.
Der theoretische Teil war in drei Abschnitte gegliedert. Der erste bestand darin, vorhandenes Wissen aus glaubwürdigen Quellen wie Büchern und früheren Arbeiten zu sammeln und zusammenzufassen. Der zweite konzentrierte sich auf die Erkenntnisse und Ergebnisse, die wir aus unserem Prototyp – einer Softwarelösung, die wir für den praktischen Teil entwickelten – gewonnen hatten. Schließlich kombinierte der dritte Abschnitt diese beiden Ansätze und bot einen kritischen Vergleich und eine Reflexion darüber, was wir durch das Projekt insgesamt gelernt hatten.
Der praktische Teil verlangte von uns, eine Lösung zu entwerfen und umzusetzen, die entweder software- oder hardwarebasiert war, um ein realweltliches Problem zu lösen. Mein Teamkollege Clemens Schlipfinger und ich entschieden uns ausschließlich auf Software zu konzentrieren, um die Zuverlässigkeit zu gewährleisten. Hardware kann unvorhersehbare Probleme verursachen, aber Software – insbesondere, wenn sie in robusten Docker-Containern bereitgestellt wird – bietet eine konsistente Umgebung, die überall nahtlos funktioniert.
Was unser Projekt besonders spannend machte, war unsere Partnerschaft mit Siemens AG, einem renommierten multinationalen Unternehmen, das auf Energie-, Automatisierungs- und Digitalisierungslösungen spezialisiert ist. Diese Zusammenarbeit war unter unseren Mitschülern selten und verlieh unserem Projekt eine professionelle Dimension. Siemens beauftragte uns, eine dienstorientierte Softwarelösung zur Analyse von Anomalien im europäischen Stromnetz zu entwickeln.
Das von uns entwickelte System bestand aus mehreren Komponenten, die jeweils für eine spezifische Funktion konzipiert waren. Im Kern befand sich eine Kafka-Anwendung, die für die Erfassung von Daten verantwortlich war – Berichte über Netzwerkanomalien, die wir als „Findings“ bezeichneten. Diese Berichte dokumentierten Ausfälle und Unregelmäßigkeiten im komplexen europäischen Stromnetz, das aus Millionen von verbundenen Komponenten wie Transistoren, Schaltern und Generatoren besteht. Kafka übermittelte die neuesten Anomalien an eine PostgreSQL-Datenbank, die dann über eine GraphQL-API zugänglich gemacht wurde. Diese API bot umfassende Funktionen wie Paginierung, Filterung und Abfragen, um eine nahtlose Integration mit unserem Angular-basierten Frontend zu gewährleisten.
Das Frontend wurde als benutzerfreundliches Dashboard mit drei Hauptbereichen gestaltet:
-
Anomalien-Tabelle – Eine durchsuchbare, paginierte und filterbare Tabelle für die schnelle Navigation durch Anomalien.
-
Graph-Ansicht – Eine dynamische Visualisierung der Anomaliedaten, um die Quelle eines Problems im weitläufigen, komplexen Netz leichter zu lokalisieren.
-
Gesamtdashboard – Wichtige Kennzahlen und Einblicke für schnelle, umsetzbare Übersichten.
Clemens und ich teilten unsere Verantwortlichkeiten gleichmäßig auf. Clemens übernahm die Backend-Systeme, einschließlich Kafka, PostgreSQL und der GraphQL-API, und sorgte für eine zuverlässige und effiziente Daten-Pipeline. Ich übernahm die Rolle des Projektleiters, koordinierte die Kommunikation mit Siemens und entwickelte das Frontend, um die nahtlose Integration der verschiedenen Komponenten sicherzustellen. Diese Zusammenarbeit ermöglichte es uns, unsere Stärken einzusetzen und eine ausgewogene Arbeitsverteilung aufrechtzuerhalten.
Unser Endprodukt erfüllte nicht nur die Anforderungen von Siemens, sondern demonstrierte auch die Stärke einer gut gestalteten dienstorientierten Architektur (SOA) zur Lösung komplexer, realweltlicher Probleme. Es war äußerst befriedigend, unsere Software zuverlässig arbeiten zu sehen und verwertbare Einblicke zur Bewältigung von Stromnetzanomalien zu liefern.
Für weitere Details zu unserer Arbeit können Sie unsere Thesis hier 📜 einsehen oder unseren Videokurs hier 🎥 anschauen (beides nur auf Deutsch verfügbar).