Erzurumun tarihi mekanlar bakımından en kutsal yerlerinden birisi Abdurrahman Gazi Türbesidir. Hz. Ömer Döneminde 641 yılında İyaz Bin Ganem Komutasındaki bir İslam Ordusu ile Doğu Anadolu ya sefere çıkan Peygamberin sancaktarı Muaz Bini Cebil ‘in oğlu, Abdurrahman Gazinin, Ahlat’ın ele geçirilmesi esnasında şehit  düşmüş ve şehit düştüğü yerde yaptırılan Abdurrahman Gazi türbesi (Kümbet) 1974 yılında Ahlat Taş Ustası Tahsin KALENDER tarafından yeniden tarzına uygun olarak restore edilmiştir.

Erzurum’un 2.5 km. güney doğusunda Eğerli Dağı (Sığve) yamacında, Abdurrahman Gazi Camisi’nin (Hacı Ahmet İzzet Paşa Camisi) yanındadır. Hz.Muhammed’in (S.A.S.)Eshabından olan Abdurrahman Gazi adına bu türbeyi Erzurum Valisi Yusuf Ziya Paşa’nın eşi Ayşe Hanım 1796 yılında yaptırmıştır.

Türbeye yanındaki Abdurrahman Gazi Camisi’nden girilmektedir. Türbenin giriş kapısı üzerindeki l796 tarihli kitabeyi Hattat Salim yazmıştır. Türbe içerisinde 4.85 m. boyunda Abdurrahman Gazi’nin makamı bulunmaktadır.

Halk arasında rivayet şöyledir: Palandöken Dağı’nın üst yamaçlarında türbesi bu­lunan ve bir ziyaretgah yeri olan Abdurrahman Gazi’nin Hazreti Peygamber’in sancaktarı olduğu halk arasında yaygındır.

Hazreti Peygamber’in İslam Orduları Erzurum’u fethederken, Sancaktarı Abdurrahman Gazi’nin kellesi bir düşman kılıcı ile koparılır ve yere düşer. Kellesini koltuğuna alan Abdurrahman Gazi elinde bulunan is­lam’ın Sancağı’nı Palandöken’in en yüce noktasına dik­mek üzere dağa yokuşa koşmaya başlar.

Kellesi koltuğunda, sancağı elinde olan Abdurrah­man Gazi Palandöken Dağı’ndaki “Şığveler” Mevkii’ne gelince dağda bulunan çobanlar evvela dona kalırlar, sonra biri dayanamayıp;

- kafası koltuğunda hala koşuyor! diye bağırır.

Kem göz orada onu nazara getirir ve olduğu yerde düşer, kalır gazilik ve şehitlik rütbesiyle ruhunu teslim eder.

Erzurumda yaygın bir inanışa görede Erzuruma gelipte Abdurrahman Gazi Türbesini ziyaret etmeden dönülürse, mutlaka tekrar yolunuzun Erzuruma düşeceğidir.