Dateierzeugung im IFS und FTP versendet unfertige Files trotzdem

[Robi]

na ja, wenn die Datei noch geschrieben wird, verändert sich die Zeit.
Dann übertrage ich Sie nicht, erst(evtl) beim nächsten Lauf (bei uns alle 15 Minuten)

[BenderD]

... Problem ist doch in all diesen Fällen das miserable Design! Die Daten enthalten kein Prüfkriterium für Vollständigkeit oder es wird nicht geprüft und dann auch noch das nicht auszurottende Haufenkacker-Graber-Prinzip angewandt. Asynchrone Übertragungen können auch abbrechen, dann hilft warten nichts und durch HKGP kommt dann noch das Problem von Doppelübertragungen hinzu - schließlich merkt der Sender ja, dass es nicht gefunzt hat und machts nochmal.

Am einfachsten und saubersten ist es, wenn der Sender nach erfolgreichem senden ein Event auf dem Zielsystem auslöst, das den Empfang regelt. Statt an Murkslösungen festzuhalten und Aufwand in untaugliche Versuche zu stecken, das irgendwie zu heilen, die bestenfalls die Fehlerquote verkleinern, sollte man das Übel lieber an der Ursache - dem miesen Design - anpacken.

D*B

[Andreas_Prouza]

Am einfachsten, sichersten und schnellsten ist die Methode mit dem Umbenennen wie von mir oben beschriebn.
Alles andere hat Fehleranfälligkeiten an vielen verschiedenen Stellen und man schafft sich mehr Probleme als das es hilft.

[BenderD]

Am einfachsten, sichersten und schnellsten ist die Methode mit dem Umbenennen wie von mir oben beschriebn.
Alles andere hat Fehleranfälligkeiten an vielen verschiedenen Stellen und man schafft sich mehr Probleme als das es hilft.

... seltsamerweise arbeitet kein einziges Internetprotokoll mit umbenennen.

D*B

[Fuerchau]

Internetprotokoll nicht, aber eine Verarbeitungslogik schon.
Wie gesagt, eine Sperre oder Umbenennung klappt nicht, so lange die Datei in Bearbeitung ist.
Ich kann also die erwarteten Dateien in zu bearbeitende Dateien umbenennen und dann verarbeiten.
Wird duch einen Prozess eine Datei immer per Open/Write/Close verarbeitet, wird eben nach dem Umbenennen eine neue Datei erstellt, die ich dann beim nächsten Mal verarbeite.
Seit dem es FTP oder auch IFS-Freigaben gibt arbeite ich, bzw. meine Programme und Scripte, genau so.
Selbst beim Übertragen an Fremdsysteme per FTP ist ein Put mit anschließendem Rename möglich.

[Andreas_Prouza]

... seltsamerweise arbeitet kein einziges Internetprotokoll mit umbenennen.

D*B

Ich verstehe nicht, was das mit Internetprotokollen zu tun hat?!
Es geht um die Sicherstellung, dass beim Bereitstelluen von Daten erst nachdem sie fertig erstellt wurden zugegriffen wird.

Natürlich gibt es viele Wege die nach Rom führen, man muss aber nicht einen Umweg über die Arktis machen um das zu erreichen.
Wenn Debian ein neues ISO Image veröffentlicht, wird das ja auch nicht über ein Event am Zielsystem gesteuert.
Das mit dem Event macht dann Sinn, wenn ich kein Delay haben will sondern in Echtzeit die Verarbeitung anstoßen möchte.
Das dies zusätzlich auch noch das hier beschriebene Problem löst ist ein positiver Nebeneffekt.
Trotzdem würde ich selbst mit dem Event nie eine Datei dort erstellen lassen wo sie abgeholt oder übertragen wird, sondern immer in einem Temp-Verzeichnis und dann mit mv (move) ins Zielverzeichnis mit dem Zielnamen verschieben.
Wie gesagt, alles andere hat auf diversen Stellen schwachstellen.

[BenderD]

Ich verstehe nicht, was das mit Internetprotokollen zu tun hat?!

... genau dort geht es um sichere Übertragungen von Daten und deren Weiterverarbeitung mit verteilter Sender/Empfänger-Verarbeitung!

D*B

[Andreas_Prouza]

... genau dort geht es um sichere Übertragungen von Daten und deren Weiterverarbeitung mit verteilter Sender/Empfänger-Verarbeitung!

Da geht es um viel mehr als das und schließt das von mir beschriebene vorgehen keinesfalls aus!