git bash? им же тоже вроде можно подключиться?

Я через эмулятор Conemu (git bash) захожу на VPS через SSH.

Безусловно можно и через гит баш. Но не очень удобно то, что он не позволяет вставлять текст в свою консоль. Ну и в PuTTY можно сохранять доступы к серверам, - удобно.

А может я просто не глубоко знаком с git bash.

Ну, как говорится, каждому своё =)