Ali Yılmaz, 1966 yılında Kayseri’de doğdu. İlk ve orta eğitimini Kayseri’de, Hacı Mustafa Gazioğlu İlk okulunda ve Kayseri İmam Hatip Lisesi’nde tamamladı. 1985-1994 yılları arasında konfeksiyon ticareti yaptı. 1995 yılında çalışmaya başladığı Melikgazi Belediyesi’nde 1996 yılında Başkanlık Özel Kalem Müdürlüğü görevini 1998 yılına kadar sürdürdü. 1998 yılında atandığı Büyükşehir Belediyesi Başkanlık Özel Kalem Müdürlüğü görevine halen devam etmektedir.Ali Yılmaz, Kayseri İmar A.Ş. ve Kayseri Büyükşehir Eğitim Faliyetleri A.Ş. Yönetim Kurulu Üyeliği yapmıştır ve 2015 yılında geldiği KEPSAŞ Yönetim Kurulu Üyeliği görevini halen sürdürmektedir. Ali Yılmaz, evli ve 3 çocuk babasıdır.