Çimen, 18 Haziran 1958’de Elbistan'ın Sevdilli köyünde dünyaya geldi. Babası Adana'nın Fatmakuyu köyünden Nesimi Çimen, annesi Tunceli'den Dilber Hanım'dır. Tek çocuk olan Mazlum Çimen, çocukluğu Adana'nın Kadirli ilçesinde geçti. Babasının iş için İstanbul'a gitmesinin ardından tüm ailesi İstanbul'a taşındı. Bağlama çalıp deyişler söyleyen babası Nesimi Çimen, bir halk ozanı olarak tanındı. Can Yücel, Yılmaz Güney, Abidin Dino, Fakir Baykurt, İlhan Selçuk gibi edebiyatçı ve sanatçıların olduğu bir çevrede büyüdü.