Bei einer HTTPS Verbindung wird zuerst mal der SSL-Handshake durchgeführt.
Hierbei werden ein paar Aktionen getätigt:
* Es wird sich das höchst mögliche Verschlüsselungsprotokoll ausverhandelt (dies sollte eines der aktuellen TLS Versionen sein)
* Der höchst mögliche Chiffrieralgorithmus (Cipher) ausverhandelt (das wo z.B. RSA, SHA usw. im Text steht)
* Dann wird das Zertifikat geprüft
** Stimmt das Zertifikat mit dem Hostnamen überein (Wenn man hier die IP benützt, gibt es meistens ein Problem)
** Ist das Zertifikat allgemein gültig (self-signed, ablaufdatum usw.)
** Ist die Zertifikatsstelle (CA) im Keystore enthalten?

Bei den ersten beiden Punkten kann es auch sein, wenn eines der beiden Server nicht halbwegs aktuell ist und irgendwelche SSL/TLS Versionen oder Cipher verwendet, die vom anderen Server nicht unterstützt werden (weil schon sehr alt oder weil die Updates fehlen), kann es zu Problemen führen.

Normal hat jedes System eine sehr große Liste von unterstützten Cipher.
In den nicht so optimalen Programmen (sowohl Client als auch Server) gibt es auch die Möglichkeit die Version des Verschlüsselungsprotokolls oder den Cipher, hardcoded zu hinterlegen.
Das ist dann ganz super, wenn irgendwann diese nicht mehr unterstützt werden und die Software nicht angepasst wird.

Wenn auf eurer IBM i in der QSH OpenSSL installiert ist kannst du die Verbindung damit testen:
openssl s_client -connect prouza.at:https
Hier bekommst du alle Details zur SSL-Verbindung und dem Zertifikat.
Bei mir z.B.:
Verification: OK
Verify return code: 0 (ok)

Ich hoffe das liefert dir ein paar Anhaltspunkte.

lg Andreas