Kaledere köyü ilçe merkezinin doğusunda yer almakta olup, ilçe merkezine 10 km. uzaklıktadır. Adını bu köyde bulunan tarihi kale ve yerleşim yeri itibariyle de dere içerisinde bulunmasından almıştır. Köyün kuruluş tarihi eskilere dayanmaktadır. Bilindiği gibi dere içerisinde yerleşmiş köyün, doğusunda Karadikmen ve Usluca köyü sınırları, batısında Kutluca ve Kılıçtutan köyü sınırları güneyinde Kelkit Çayı, kuzeyinde Hacıören Köyü bulunmaktadır. Köy tek merkezde olup, mahallelere bölünmemiştir.  Kelkit Çayı kenarında bulunan Sürmebükü adıyla meşhur bir mesire yeri bulunmaktadır. Kaledere Kalesi tarihi özellik taşımaktadır. İlçe pazarına sebze türlerinin hemen hemen hepsi bu köylüler tarafından getirilerek ticareti yapılmaktadır. Köyde meyve ağacı da bol miktarda bulunmaktadır. Bunları elma, armut,kayısı, dut gibi meyve teşkil eder.