Roma ve Bizans dönemlerinde yörede kurulu kente Argyropolis (Yunanca argyros: “gümüş” ve polis: "kent" demektir.) adı verilmiştir. Yöredeki savaşların asıl sebepleri tarihi bir ticaret yolu üzerinde bulunması ve madenleriyle ün yapmış olmasıdır.
7.yüzyıl sonları ile 8. yüzyıl başlarında bölge Emevi-Bizans ve Abbasi-Bizans arasında birkaç defa el değiştirmiştir.
Halife Hz. Ömer zamanında (634-644) Erzincan ve Erzurum Arapların eline geçince Gümüşhane’de bu egemenliği tanıdı. Ancak bu egemenlik fazla sürmeden bölgede yeniden Bizans egemenliği sağlandı. Halife Hz. Osman zamanında (644~656) Gümüşhane, Bayburt, Erzurum ve Erzincan Emir Habib Bin Mesleme tarafından Bizanslılardan geri alındı. Halife Hz. Ali zamanında (656-661), Muaviye ile olan mücadeleler ile iç isyanlarla uğraşılması sebebiyle bölgede yeniden Bizans egemenliği başladı.
Emevi Halifesi Abdülmelik zamanında (685-705) bölge tekrar Emevi yönetimi altına girdi. Ancak Halife Velid zamanında (705-715) Araplar ile Hazarlar arasındaki çatışmalarda Hazarlar başarı gösterince bölge yeniden bu durumdan istifade eden Bizanslıların eline geçti.
Abbasiler zamanında Bizans-Arap çatışmaları devam etmiştir. Bu dönemde Gümüşhane yöresi ile ilgili fazla bilgi bulunmamaktadır. Ancak Bayburt'un Bizans egemenliğinde kaldığı bilindiğine göre Gümüşhane de Bizans egemenliğinde kalmıştır diyebiliriz.
Çağrı Bey'in 1016 yılında Anadolu'ya yaptığı ilk akın sırasında Gümüşhane'ye kadar geldiği bilinmektedir. 1058'de Tuğrul Bey'in ordusu İbrahim Yinal komutasında Trabzon'a kadar akın yaparken Gümüşhane'yi de ekonomik yönden önem arzettiği için fethetmiştir.
Türkmen akınları olmadan önce Hazarlar ve Peçenekler ile Çepni Türk oymakları bölgeye yerleşmişlerdir. Çepniler 24 Oğuz boyundan biri olup Anadolu'nun fethi ve Türkleşmesinde önemli rol oynamışlardır.
13. yüzyılın ikinci yarısında Selçuklular Moğol istilası altında ezilirken Gümüşhane ve çevresinin müdafaası Çepni Türklerine kalmıştır. Rum vakayinamecisi (tarihçisi) Pataretos 14. yüzyılda Çepnilerin Tirebolu'ya vardıklarını söyler ki, bunlar Gümüşhane tarafından gelmişlerdir. Anadolu'nun fethinden sonra birçok imaret kurulmuştur. Gümüşhane ve Kelkit, Emir Mengücek Gazi tarafından kurulan Erzincan imaretine bağlanmıştır. 1164'te II. Kılıçarslan Mengücekli topraklarını Anadolu Selçuklu Devleti'ne bağladı. Anadolu Selçuklu Devleti'nde ticarete büyük önem verildiğinden tarihi bir ticaret yolu üzerinde bulunan Gümüşhane ve çevresi de önemini devam ettirmiştir.1243 Kösedağ Savaşı'nda İlhanlılar, Selçukluları yenerek buraları zaptettiler.
Anadolu, Moğolların nüfuzu altına girince Trabzon Rum İmparatorluğu bu defa Moğollara vergi vermeye başladı. Moğol nüfuzunun kırılması ve Türkmenlerin beylik kurmak için faaliyet göstermeleri neticesinde ve II. Yuannis devrinde (1280-1297) Türkmenler madenleriyle ünlü Halibya (Haldiya) kısımlarını istila ettikleri gibi Cenevizlilerle Venedikliler de İmparatorluk üzerinde iktisadi nüfuz vücuda getirmişlerdi.
İlhanlıların son hükümdarı Ebu Said'in ölümü üzerine 1335'te Bayburt, Erzurum ile Erzincan ve Gümüşhane Celayirlilerin eline geçmiştir. 1345'te Eretnaoğulları, 1430'da Karakoyunlu hakimiyetine geçen bölgeye 1467'de Akkoyunlular hakim olmuştur.
Fatih Sultan Mehmet (1451-1481), Trabzon üzerine yürüdüğü sırada Trabzon Rum İmparatorluğunun sınırları Giresun'dan Batum'a kadar ve güney hudutlar da Bayburt ve Gümüşhane’nin kuzeyinden geçen dağ silsilesi ile çevriliydi. Osmanlılar’ın aleyhte hareketleri nedeniyle Trabzon Rum İmparatorluğu, Akkoyunlu hükümdarı Uzun Hasan'la işbirliği içine girmiştir.
1461 yılında Fatih Sultan Mehmet'in Trabzon Rum İmparatorluğuna son vermesiyle bölgede Osmanlı etkisi görülmeye başlanmıştır.
Gümüşhane, Trabzon Rum İmparatorluğunun fethedilmesinden sonra Osmanlı hakimiyetine girmiş ve bu hakimiyet 1461'den 1467'ye kadar sürmüştür. Bu tarihten sonra Gümüşhane Akkoyunluların hakimiyetine girmiştir. Bu hakimiyet 1473 yılında Fatih ile Uzun Hasan arasında vuku bulan Otlukbeli Savaşıyla sona ermiştir. Gümüşhane ilinin kuzeyindeki "Kharşit" ilk Osmanlı belgelerinde "Khas-Rudu çayı orta ve yukarılarındaki Torul ve Canıca (Gümüşhane'nin eski adı) kesiminde Akkoyunlular'a bağlı Ortodoks-Apkazlı (Abaza) "Torul Beyliği" 1474'de (veya 1478) Fatih'in Amasya'dan gönderdigi bir ordu kolu tarafından fethedilmiştir.
Yavuz 1508'de Trabzon valisi iken Anadolu'da başlayan Şii ayaklanmaları yüzünden Trabzon'dan Bayburt'a kadar uzanan bir sefer yapmıştır. Bu bölgede Safeviler lehinde ayaklanma ve karışıklık çıkaranlar Çepni Türkleridir. 16. yüzyılda onlardan bir bölümü Halep Türkmenleri, muhim bir kümede Sivas, Tokat ve Amasya bölgesindeki Ulu Yörük arasında yaşadığı gibi yine bu boya mensup pek kalabalık bir topluluk da Trabzon, Gümüşhane, Bayburt, Giresun ve Canik (Ordu ve Samsun) bölgesinde oturuyordu. İşte Safevilerin hizmetindeki Çepniler de bu sayılan topluluk ve bölgeden idiler.
Bu karışık durumdan sonra bölgedeki sükunet ancak Şah İsmail ile Yavuz Sultan Selim (1512-1520) arasında meydana gelen Çaldıran Savaşıyla sona ermiştir. Bölge tamamen "Anadolu Türk Birliği"ne katılmıştır. (Ağustos 1514) Yavuz buraya vali olarak Bıyıklı Mehmet Paşayı bırakmıştır. Kanuni Sultan Süleyman (1520-1566) İran seferi sırasında gümüş madeninin bulunduğu Eski Gümüşhane yöresinin imar edilmesini emretmiş, böylece buraya ev ve Süleymaniye Camii yapılmıştır.
1647'de Gümüşhane'yi ziyaret eden Evliya Çelebi, buralarda gümüş madeninin çok olduğunu, çalışır ve boşaltılmış durumda 70 kadar ocak bulunduğunu bildirir. Yine bu ocaklardan 7 koldan kurşunsuz gümüş cevheri çıkarıldığını ve bu şehirde Emin Mahallesinde darphane olduğunu yazarak üzerinde "Azze nasrahu daraba fi catha" (Canca'da basılmıştır) yazılı birkaç akçenin kendisinde olduğunu bildirir.
