Ich habe auch für unterschiedliche User einen ssh-key.
Wichtig ist auch, dass der Private Key nur für den Client user lesbar ist.
Alle anderen dürfen nicht mal drauf lesen können.

Der Owner am Client muss dein User sein, der Owner am Server der des Users.
(Auch für alle Unterordner und Dateien)