Performance Probleme nach Releasewechsel von V5R3 nach V5R4

[schatte]

Hallo *ALL,

nach einem Releasewechsel von V5R3 nach V5R4 gibt es starke Performanceprobleme (lange Antwortzeiten). Es handelt sich hierbei um eine recht große Maschine mit mehreren Partitionen. Das Performanceproblem tritt nur auf einer Partition auf. Dort laufen etwa 9000 Jobs, wobei die CPU bei etwa 50% Auslastung steht. Es wurden auch schon die neusten PTFs eingespielt.

Bis auf den Releasewechsel hat sich sonst nichts an den restlichen Anwendungen auf der Maschine verändert.

Hat von euch schonmal jemand solch ein Problem festgestellt?

Viele Grüße
Matthias

[Fuerchau]

Ich würde da auf einen Ressourcenengpass der Partition tippen.
Schau auch parallel die Disk-Auslastung an.
Wenn die CPU nur 50% hat, kann es auch am Plattenengpass liegen, da krault sich die CPU nur die Füsse bis die Platte mal was meldet.

[schatte]

Mmmh, sieht nicht nach einem Plattenengpass aus.
Hier ein Auszug aus WRKSYSSTS:

                           Mit Systemstatus arbeiten                   XXXXXXXX 
                                                             26.05.08  16:13:14 
 % CPU benutzt  . . . . . :       37,3    System-ASP . . . . . . . :     3029 G 
 % DB-Kapazität . . . . . :       16,4    % System-ASP benutzt . . :    79,2457 
 Abgelaufene Zeit . . . . :   00:03:48    Gesamtzusatzspeicher . . :     3381 G 
 Jobs im System . . . . . :     103669    Unges. Platz akt. belegt :    85183 M 
 % perm. Adressen . . . . :      0,152    Max. ungeschützt . . . . :    98935 M 
 % temp. Adressen . . . . :      8,832                                          
                                                                                
 Sys-    Pool-    Reserv.   Max.  -DB-Seiten-  -Nicht-DB--  Aktiv  Wart.  Aktiv 
 Pool   Größe M   Größe M    akt  fehl. geles  fehl. geles  Wart.  n.wäh  n.wäh 
   1    3813,18   1156,69  +++++    0,0   0,0   16,2  18,1  466,3    0,0    0,0 
   2    4358,11      8,53    216   10,9 114,4   79,0 186,5  887,5    0,0    0,0 
   3    1145,62      0,00     25    0,3  41,1    8,9  26,3  190,3    0,0    0,0 
   4   46761,24      1,10    259   57,9 618,8  206,8 512,0   4766    0,0    0,0 
   5      57,27      0,00     10    0,0   0,0    0,0   0,0   14,4    0,0    0,0 
   6    1145,62      0,06     51    0,0   0,3    0,2   0,7   1581    0,0    0,0 
                                                                                
                                                                                
                                                                                
                                                                   Ende         
 ===>                                                                           
 F21=Unterstützungsstufe auswählen

Alleine das Drücken von F10 zum aktualisieren dauert etwa 4 Sekunden.

Hier noch ein Auszug von WRKDSKSTS (Sind insgesamt 81 Platten):

                           Mit Plattenstatus arbeiten                  XXXXXXXX 
                                                             26.05.08  16:15:09 
 Abgelaufene Zeit:   00:00:58                                                   
                                                                                
 Ein-          Größe  %be-    E/A   Anford.  Lese   Schrb.  Lesen  Schrb  %ver- 
 heit  Typ      (M)   legt   Anf.  Größe(K)   Anf.   Anf.    (K)    (K)   wend. 
    1  4326    35165  82,1    5,1      7,0     2,1     3,0    8,6    6,0     0  
    2  4326    30769  79,1    6,3     10,7     3,1     3,2   14,5    7,1     0  
    3  4326    26373  79,1    7,4     11,2     3,5     3,9   13,3    9,4     1  
    4  4326    30769  79,1    8,7     14,3     4,3     4,3   20,3    8,4     0  
    5  4326    30769  79,1    9,1      8,8     3,6     5,4   10,6    7,6     0  
    6  4326    35165  79,1   10,4      6,5     2,8     7,5   11,0    4,9     2  
    7  4326    35165  79,1    8,2      8,1     2,5     5,6   13,3    5,8     1  
    8  4326    26373  79,1    6,7      7,8     2,5     4,2    9,9    6,5     0  
    9  4326    30769  79,1    8,9      7,4     3,0     5,8   10,3    5,9     1  
   10  4326    30769  79,1    6,0      8,7     2,6     3,3   10,8    7,1     0  
   11  4326    26373  79,1    6,3      8,1     2,5     3,8   11,5    5,9     0  
   12  4326    30769  79,1   11,2      8,9     3,7     7,4    9,6    8,6     4  
                                                                   Weitere ...  
 Befehl                                                                         
 ===>                                                                           
 F3=Verlassen   F5=Aktualisieren   F12=Abbrechen   F24=Weitere Tasten

Eine Antwortzeit von etwa 3 Sekunden ist bei jedem Befehl so (STRPDM, WRKACTJOB, ...)

Für diese Partition sind 57GB RAM zugeteilt. Es handelt sich um eine 550er.

Sehr mysteriös.

Hat noch jemand eine Idee?

Gruß
Matthias

[tfroehlich]

Hallo *ALL,

nach einem Releasewechsel von V5R3 nach V5R4 gibt es starke Performanceprobleme (lange Antwortzeiten). Es handelt sich hierbei um eine recht große Maschine mit mehreren Partitionen. Das Performanceproblem tritt nur auf einer Partition auf. Dort laufen etwa 9000 Jobs, wobei die CPU bei etwa 50% Auslastung steht. Es wurden auch schon die neusten PTFs eingespielt.

Bis auf den Releasewechsel hat sich sonst nichts an den restlichen Anwendungen auf der Maschine verändert.

Hat von euch schonmal jemand solch ein Problem festgestellt?

Viele Grüße
Matthias

--------------------------------------------------------
Hallo Matthias,

hast Du schon den Befehl WRKSYSACT schon probiert?

Vielleicht siehst Du damit den Job, der die Maschine lahm legt.

Gruss Thomas

[Robi]

Hi,
Also die Werte von Pool 4 und die knapp 80 % Plattenauslastung find ich schon bemerkenswert!

Und ... Wieviel CPU hast du der Partition den gegeben ?

Was sagen die Performanceanalysedaten oder wenigstens ein wrksysact?
Wird in der Anwendung viel mit SQL gelesen? (war bei uns ein Bug, ist mit PTF bereinigt)

ist comitment an ? Wie groß sind die journalreciver?


Robi

[schatte]

--------------------------------------------------------
Hallo Matthias,

hast Du schon den Befehl WRKSYSACT schon probiert?

Vielleicht siehst Du damit den Job, der die Maschine lahm legt.

Gruss Thomas

In WRKSYSACT sieht auch alles normal aus. Also keine besonderen IBM Jobs oder sonstige Jobs.

[schatte]

Hallo,

das Problem hat sich gestern gelöst. Es hat wohl an der Konfiguration der virtuellen CPUs für diese Partition gelegen. Man hat die Anzahl der virtuellen CPUs verkleinert. Jetzt läuft die Partition auch wieder sehr performant.

Seltsam ist nur, dass sich die Konfiguration nach dem Releasewechsel nicht geändert hatte. Also scheint es doch noch ein Problem von V5R4 zu sein.

Viele Grüße
Matthias

[holgerscherer]

Seltsam ist nur, dass sich die Konfiguration nach dem Releasewechsel nicht geändert hatte. Also scheint es doch noch ein Problem von V5R4 zu sein.

Viele Grüße
Matthias

Wie sah denn die LPAR Config im Detail aus? Sind alle Partitionen (oder zumindest die primäre) auch auf V5R4 gehoben worden? Davon ist ja auszugehen ;-)
V5R4 hat eine etwas andere, abweichende Behandlung der virtuellen CPUs, so dass möglicherweise beim Update der Hypervisor der Meinung war, die besagte LPAR auf drei Fragmente von CPUs zu verteilen. Immerhin sah man im WRKSYSACT eine gewaltige Fehlseitenbedingung in den Pools 2 und 4, die sich (wenn es ein normaler Mangel an RAM) auch auf die Plattenaktivität auswirken sollte. Daher ist es höchstwahrscheinlich, dass die LPAR-Config sich verschoben hat und die CPUs eher damit beschäftigt waren, das BRANCHen zwischen den einzelnen Jobs ständig neu zu würfeln. Wieviel CPUs sind in der Box drin?

-h