Es gibt eine einfache Grundregel:
Bei SQL Funktionen wird der Rückgabewert über den RETURN gemacht.
Bei SQL Prozeduren wird der Rückgabewert über die Parameter (mit IN, OUT und INOUT) gesteuert.
SQL Table Function liefern beim RETURN halt eine Tabelle zurück.

Das was du also willst ist eher eine SQL Prozedur.
Du könntest auch eine SQL Prozedur erstellen, um den Wert aus dem Parameter zu erhalten.
Und dann noch eine SQL Funktion schreiben, in der du die SQL Prozedur aufrufst und dann mit RETURN den zurückgelieferten Wert der SQL Prozedur, zurückgeben:
SQL Funktion --> SQL Prozedur --> RPG Prozedur

lg Andreas