Erzincan'ın İlkçağ tarihi hakkında esaslı bilgiye henüz sahip değiliz. Ne varki tarihçiler ikinci bin yıl da, bu yörede, hurrilerin yaşadığını, ikinci bin yılın ilk yarısı başlarında da Hayaslılarla Azzilerin hüküm sürdüğünü kaydetmektedir. Anadolu'da M.Ö. 1050- 1180 tarihleri arasında Hattuşaş'ı merkez yaparak büyük bir imparatorluk kuran Hititler yakın doğuyu egemenlikleri altına almışlardır. Şüphesiz ki Erzincan'da Hititlerin yönetimi altında idi. Anadolunun çeşitli yerlerinde yapılan kazılarda Hititlere ait çeşitli eserler ortaya çıkarılmıştır. Erzincan ve yöresinde Hititlere ait bir yerleşim merkezine rastlanmamışsa da, bu yörenin Hitit egemenliği altında kaldığından da hiç şüphe yoktur. Doğu Anadolu'da kurulan ilkçağ devletlerinden biri de Urartulardır. M.Ö.900 yıllarında kurulan bu devlet Vanı2 (Tuspa) başkent yapmış, sınırlarını Hazar Denizinden Malatya'ya, kuzeyde Erzurum-Erzincan'dan güneyde Halep-Musul'a kadar genişletmiştir.
Erzincan yakınlarında Altıntepe'de Prof Dr. Tahsin ÖZGÜÇ tarafından yapılan kazıda (1953) Urartular'a ait bir çok eser çıkarılmış, bu yörenin Urartu egemenliği altında kaldığı kanıtlanmıştır. Çeşitli saldırılara maruz kalan Urartu şehirleri, teker teker tahrip edilirken Medler'in Anadolu'yu istilası sırasında M.Ö. 600 yıllarında tamamen ortadan kaldırılmıştır. Erzincan ve yöresi, Urartular'ı yenerek Anadolu'yu istilaya başlayan Med'lerin (M.Ö. 612) eline geçti. Med Krallığı'nın Kyaksar döneminde Lidyalılar'la yapılan savaşlar, muhtemelen Erzincan ve civarında cereyan etmiştir. Bu yöreler M.Ö.550 tarihlerinde Persler'in eline geçmiştir. Hititler'in Anadolu'yu istila ettikleri sırada, İran yaylasını da Persler ele geçirdiler. Persler'in yükselişi daha çok Ciroz (550-530), Kampis (530-520) dönemlerine raslar. Bu dönemde Erzincan ve çevresinde Persler'in eline geçer. Persler'den sonra Anadolu Makendonyalılar'ın eline geçmiştir. Roma ordusu M.Ö.70 tarihinde Doğu Anadolu'yu ele geçirmeye başlıyarak Elazığ yöresindeki Safen (Harput) Kralığı'nı yıktıktan sonra, Tigran Ordusunu da yenilgiye uğratmıştır. Bu sırada (M.Ö. 68) Pontuslular da Erzincan yörelerinde Roma üstünlüğüne son vermişlerdir. İran ile Bizans arasında sürekli savaşlara sahne olan Erzincan ve yöresi, en son Bizans imparatoru Heraklius tarafından 629 tarihinde yenilgiye uğratılan İran'dan geri alındı. Halife Hz. Osman (644-656) zamanında Habib bin Mesleme 35/655 senesinde Erzincan ve yöresini ele geçirerek, bu bölgeyi tamamen Müslümanların yönetimine kattı. Erzincan ve yöresi Abbasiler döneminde de çeşitli saldırılara maruz kaldı. Halife Mütevekkil Alallah (847-861) döneminde Malatya Valisi Ömer bin Abdullah, Arapgir, Eğin, Kemah, Erzincan ve Trabzon kentlerini Bizanslılar?dan geri aldı. (859) Böylece Erzincan tekrar Arapların hakimiyetine geçti.