"И почему Кавказское, если Кавказа оттуда не увидать?"

Прекрасный вопрос. Сразу отмечающий глубокое знакомство с предметом.
Потому что в то время, любезный новый хронолог, именно там проходила южная граница России - по югу этого наместничества. Там тогда был "Российский Кавказ".

Полюбопытствуйте, на досуге, как развивалось продвижение России на Кавказе - в порядке отдыха от поисков помпеянских артефактов 17 века.