Dein 1. Beitrag zeigt doch den Fehler bereits !
Nach dem Schlüsselwort "CMD(" darf das Kommando nicht mit Hochkomma anfangen, da es sonst (wie der Fehler schon sagt) nicht als Command erkannt wird.
Und zusätzlich solltest du sämtliche Hochkommas weglassen, da die Lib nicht in Hochkomma angegeben werden muss (nicht casesensitive, keine Leerzeichen) !!!!

Ausserdem kannst du das Kommando insgesamt direkt angeben:

RUNRMTCMD CMD(SBMJOB CMD(CALL PGM(ACTSYSPGM/INSTPGMCL3) PARM(&INSTLIB))) RMTLOCNAME(AS400.AS400) RMTUSER(USER) RMTPWD(pwd)

Warum also so komliziert ?