Meine Erfahrung besagt, dass zu den Sitzungen ja erst mal die JVM gestartet werden muss.
Hier kann es sein, dass je nach Einstellung die Java Runtime erst mal nach updates sucht, selbst wenn keine zu erwarten sind.
Prüfe mal die diesbezüglichen Einstellungen unter Systemsteuerung=>Java.
Je nach Firewalleinstellungen gibts u.U. einen Timeout beim Ermitteln der Downloads.

Was Java angeht, so kann ich diesbezüglich keine nennenswerten Nachteile der Geschwindigkeit feststellen, wenn die JVM erst mal läuft.