Zum Hauptinhalt springen

Dateibasierte Integration

Die dateibasierte Integration ist wichtig, wenn Daten nicht über laufende Schnittstellen kommen, sondern als Dateien bereitgestellt werden. Das betrifft zum Beispiel Importe aus Fachverfahren, regelmäßig gelieferte Exporte oder manuell bereitgestellte Datensammlungen.

Standardablauf in Node-RED​

watch / upload / Dateispeicher
Datei bereitstellen
Die Datei wurde zuvor bereits hochgeladen oder abgelegt, am einfachsten im Dateispeicher. Anschließend kann sie zum Beispiel über einen S3-Watcher oder per HTTP-Request geladen und weiterverarbeitet werden.
↓
csv / excel / json
Datei einlesen
Das jeweilige Dateiformat wird technisch gelesen und in verarbeitbare Datensätze zerlegt.
↓
function (optional)
Inhalte aufbereiten
Bei Bedarf werden Spalten, Werte oder Formate so vorbereitet, dass sie für den weiteren Import gut weiterverarbeitet werden können.
↓
switch (optional)
Struktur und Pflichtfelder prüfen
Bei Bedarf wird geprüft, ob wichtige Felder vorhanden sind und ob die Inhalte plausibel genug für den Import sind.
für Datenbank
Datenbank
In Datenbank schreiben
Die Inhalte werden direkt tabellarisch in einer Datenbank gespeichert.
für Kontextbroker
function
In Smart Data Model überführen
Wenn die Daten in den Kontextbroker gehen sollen, werden sie vorher auf das passende Modell der Plattform abgebildet.
↓
Kontextbroker
In Kontextbroker schreiben
Die Inhalte werden als Objekte im Kontextbroker bereitgestellt.
für Dateiablage
Dateispeicher
Im Dateispeicher ablegen
Die Datei oder der erzeugte Export wird im Dateispeicher abgelegt.

Typisch ist hier: Die Datei ist nur der Eingang. Erst nach dem Einlesen, optionalen Prüfungen und gegebenenfalls der Überführung in ein Smart Data Model wird entschieden, in welches Zielsystem die Inhalte gehen.

Beispiel aus der Praxis​

Ein typischer Fall ist ein regelmäßiger CSV- oder Excel-Export aus einem Fachverfahren, der einmal pro Tag, pro Woche oder nach Bedarf bereitgestellt wird. Die Datei wird eingelesen, geprüft und anschließend entweder in eine Datenbank übernommen, als Datei abgelegt oder in ein anderes Datenmodell überführt.

Typische Formate​

  • CSV
  • Excel
  • JSON
  • XML
  • ZIP-Archive

Typische Zielwege​

  • Ablage im S3-Speicher
  • Import in eine Datenbank
  • Transformation in NGSI-LD und Übergabe an den Kontextbroker
  • Weitergabe an CKAN für Open Data

Dateien sind keine eigene Speicherentscheidung, sondern zunächst nur das Eingangsformat. Die eigentliche Speicherentscheidung folgt danach.