Поселки есть Борятино и Борята. Предполагается, что это от основателя Боряты (Бориса).
А Брянск назывался не только Дебрянском, но и Добрянском. Видимо гласная после "д" была непростая, что и послужило колебанию названия, а затем отпадению первого слога.
Но если отбросили, то значит это не сильно вредило смыслу названия.
К дебрям могло не иметь никакого отношения. Это никак не определяет смысл заложения древнего города именно в этом месте (а не в дебрях), который первоначально мог быть укрепленным поселением.