Öksüz İbrahim Baba türbesi, şehir merkezi, Sıratut Mahallesi, Ziya Gökalp Caddesi, Adıyaman Kalesi’nin kuzey eteğinde kaleye çıkan merdivenlerin hemen altında yer almaktadır. Tek odalı betonarme bir yapıdan oluşan türbenin toplam sahası 40 metre karedir. Türbenin kapısı yeşil renkte olup üzerinde “Öksüz Baba Türbesi” yazan bir tabela bulunmaktadır. Sandukanın başında Türk bayrağı, önünde ise demir set bulunmaktadır. Türbenin bulunduğu alan ve civarı 70–80 yıl öncesinde mezarlık halinde iken, günümüzde türbe dışındaki alanlarda binalar yapılmıştır.

Anlatıldığına göre, Öksüz Baba Irak’tan gelmiş ve küçük yaşta iken burada babası şehit düşmüştür. Bunun için kendisine “Öksüz”, büyük ve yüce olduğu için de “Baba” denmiştir. Başka bir rivayete göre, İslam ordusunun Adıyaman’ı aldığı sırada, İslam ordusu içerisinde hem öksüz olan, hem de yaşça küçük olan İbrahim ismindeki bu zat, burada şehit olmuştur. Bundan 500 sene önce bir kişinin rüyasına giren Öksüz İbrahim Baba, kendini tanıtmış ve kendisinin şehit olduğunu söylemiş. Bu zat da gelip yattığı yeri kazıp bakmış ki gerçekten de bir şehit, hala çürümemiş bir şekilde yatıyor. Bunun üzerine burayı hemen bir türbe haline getirmiş. Bu zat gösterişi ve süsü sevmediğinden türbe ne kadar onarılmışsa da her defasında türbe yanmış veya yakılmıştır. Türbeyi yakmak isteyen dört kişi de kaza sonucu ölmüştür.