Es müssen alle Rechte und Owner IMMER auf beiden Geräten stimmen (Client & Server).
Passt irgendeine Komponente nicht, gibt's ein Problem.
Leider liefert SSH keine Fehlermeldung woran es liegt.

Manche meinen es sei ein Sicherheitsfeature, ähnlich bei der Anmeldung im TELNET wenn lediglich das Passwort nicht stimmt, man aber eine allgemeine Fehlermeldung bekommt, damit der Client nicht weiß, dass zumindest der User stimmt.

Wenn du die oben genannten Prüfungen machst, solltest du den Fehler finden können.