Visual Studio Code でパスフレーズありの鍵では SSH 接続できない？

Visual Studio Code 上で Git を SSH 接続で利用しようとした時にハマりました。

鍵の生成時にパスフレーズつけたときに clone とかで Permission Denied (publickey) のエラー。コンソールではパスフレーズありでも問題なく clone できたので、原因がよくわかりません。

パスフレーズありでも接続できるならご教授願いたいです。

そこそこアクセスあるので広告消すための記事なので手抜きです。