verschiedene Jobs gleiche Datei, schreib / lese konflikt?

[Fuerchau]

Da die Schlüssel aber nicht UNIQUE sind werden die Schlüssel weiterhin nach Fifo abgerufen.
Schlüssel verwende ich meist nur für Jobtrennungen.

Ich habe ja ansonsten mit NOBLOCK, also nicht Blocken hingewiesen und "irgendwo" gesagt.
BLOCK(*NO) gibts ja nur bei ILE und nicht bei OPM.

[BenderD]

...
Es werden ca 40.000 Sätze täglich verarbeitet ...
dauert ... 22 Stunden

... da würde ich zuerst darüber nachdenken, was da so lange dauert, eh' ich da überraffiniertes Zeug implementieren würde...

D*B

[Fuerchau]

Vielleicht sind das ja gerade die Initialisierungen die man sich nun damit sparen kann.

[BenderD]

... und wieviel Zeit könnten die beitragen? Lass mich raten: allenfalls eine Millisekunde pro Aufruf, macht weniger als eine Minute für 40.000

D*B

[dibe]

Die ersten 2 Pgmme sind uralt OPM Schinken die zunächst eine Statistik Datei erstellen (PGM1) und innerhalb der Datei anschl. von verschiedenen 'gleichen' Sätzen den gültigen kennzeichnen(Pgm2)
Lief früher einmal am Monatsende, auf 1,8 Mio Datensätze ca 8 Stunden.
Da weiß niemand was die damalige Aufgabe für Feinheiten hatte, das darf niemand ändern!

Das 3. ist eine Komplexe Data Ware House Aufbereitung auf Basis der Statistik.
Lief bisher auch 1 mal am Monats ende
Hat für die zur Verfügung Stellung von 88 mio Sätzen verteilt auf 10 Dateien 18 Stunden benötigt.
Das sind 'nur' 1358 Sätze/Sekunde. Dazu wurde aus rd 17 Dateien Daten gelesen, summiert und gezählt. Ein bunter mix aus Sql und native zugriffen

Bei der neuen Anforderung laufen alle 2 Pgmme immer nur für einen Key, also minimal 1 Satz, maximal 10 Sätze. Hinzu gekommen ist, das zunächst aus allen Dateien die alten Sätze als Löschung gekennzeichnet werden um dann ggf via update wieder entlöscht zu werden. Das dauert alles.
Werde morgen denn 1 Parallel Lauf testen lassen.
DiBe

[Fuerchau]

Da sollte man eher über eine vernünftige BI-Lösung nachdenken und den alten Kram abschalten.

[dibe]

das wird gemacht, um eine 'vernünftige' BI Lösung zu füttern

[Fuerchau]

Tut mir leid, aber das kann ich nicht glauben.
Eine "vernünftige" BI kann auf die nativen Daten zugreifen und benötigt keine Verarbeitungsschritte dieser Art.

[dibe]

Das könnte Sie sicherlich, und müßte dann diese Logik, (die niemand mehr allumfänglich erklären kann) nachbilden.
Also wurde definiert welche Daten im BI drin sein sollten und wir haben ermittelt wo wir diese Infos schon jetzt zeigen oder woher diese Daten in welchen Fällen zu holen sind.
Bei einem aktiven Datenbestand von mehreren Millionen Fällen teilweise vor 1970 entstanden und u.a. aus rechtlichen Gründen nicht in alles mögliche neue übernommen, halt sehr Komplex.