...jetzt sind die Fehler zumindest schon reduziert:

Dim DATEI, LIBR, VAR1, VAR2 AsString
DATEI = txt_datei.Text
LIBR = txt_libr.Text
VAR1 = "CALL TRUMPFH/TTRFDC(" & LIBR & " " & DATEI & ")"
VAR2 = "CALL QSYS.QCMDEXC ('" & VAR1 & "', " & Format(Len(VAR1), "0000000000.00000") & ")"
adocon.con_open()

Joblog:

Nachrichten-ID . . . . : CPD0005 Bewertung . . . . . . : 30
Nachrichtenart . . . . : Diagnose
Sendedatum . . . . . . : 06.10.10 Sendezeit . . . . . . : 08:02:18

Nachricht . . . : Befehlslänge ungültig.
Ursache . . . . : Im zweiten Parameter, der an QCMDEXC oder QCMDCHK gesendet
wurde, wurde eine ungültige Länge angegeben.
Fehlerbeseitigung: Befehlslänge so ändern, dass sie von 1-32702 Zeichen reicht.