Anmelden

View Full Version : verschiedene Jobs gleiche Datei, schreib / lese konflikt?



Seiten : 1 [2] 3

B.Hauser
25-02-16, 06:56
Ansonsten gibt es irgendwo NOBLOCK-Optionen.

... und was ist mit dem Schlüssel-Wort BLOCK(*NO), das in den F-Bestimmungen angegeben werden kann?

B.Hauser
25-02-16, 06:58
Die DTAQ wird ja nach FIFO verarbeitet.
DataQueues können auch geschlüsselt angelegt werden, dann erfolgt die Verarbeitung in Schlüssel-Folge, die nicht mehr zwangsläufig FIFO ist.

Fuerchau
25-02-16, 07:52
Da die Schlüssel aber nicht UNIQUE sind werden die Schlüssel weiterhin nach Fifo abgerufen.
Schlüssel verwende ich meist nur für Jobtrennungen.

Ich habe ja ansonsten mit NOBLOCK, also nicht Blocken hingewiesen und "irgendwo" gesagt.
BLOCK(*NO) gibts ja nur bei ILE und nicht bei OPM.

BenderD
25-02-16, 09:07
...
Es werden ca 40.000 Sätze täglich verarbeitet ...
dauert ... 22 Stunden

... da würde ich zuerst darüber nachdenken, was da so lange dauert, eh' ich da überraffiniertes Zeug implementieren würde...

D*B

Fuerchau
25-02-16, 09:35
Vielleicht sind das ja gerade die Initialisierungen die man sich nun damit sparen kann.

BenderD
25-02-16, 09:38
... und wieviel Zeit könnten die beitragen? Lass mich raten: allenfalls eine Millisekunde pro Aufruf, macht weniger als eine Minute für 40.000

D*B

dibe
25-02-16, 13:44
Die ersten 2 Pgmme sind uralt OPM Schinken die zunächst eine Statistik Datei erstellen (PGM1) und innerhalb der Datei anschl. von verschiedenen 'gleichen' Sätzen den gültigen kennzeichnen(Pgm2)
Lief früher einmal am Monatsende, auf 1,8 Mio Datensätze ca 8 Stunden.
Da weiß niemand was die damalige Aufgabe für Feinheiten hatte, das darf niemand ändern!

Das 3. ist eine Komplexe Data Ware House Aufbereitung auf Basis der Statistik.
Lief bisher auch 1 mal am Monats ende
Hat für die zur Verfügung Stellung von 88 mio Sätzen verteilt auf 10 Dateien 18 Stunden benötigt.
Das sind 'nur' 1358 Sätze/Sekunde. Dazu wurde aus rd 17 Dateien Daten gelesen, summiert und gezählt. Ein bunter mix aus Sql und native zugriffen

Bei der neuen Anforderung laufen alle 2 Pgmme immer nur für einen Key, also minimal 1 Satz, maximal 10 Sätze. Hinzu gekommen ist, das zunächst aus allen Dateien die alten Sätze als Löschung gekennzeichnet werden um dann ggf via update wieder entlöscht zu werden. Das dauert alles.
Werde morgen denn 1 Parallel Lauf testen lassen.
DiBe

Fuerchau
25-02-16, 14:08
Da sollte man eher über eine vernünftige BI-Lösung nachdenken und den alten Kram abschalten.

dibe
25-02-16, 14:33
das wird gemacht, um eine 'vernünftige' BI Lösung zu füttern

Fuerchau
25-02-16, 14:43
Tut mir leid, aber das kann ich nicht glauben.
Eine "vernünftige" BI kann auf die nativen Daten zugreifen und benötigt keine Verarbeitungsschritte dieser Art.