Bir süre Vatandaşın Vergisini Koruma Derneğinin genel başkanlık görevini üstlendi. CHP’li Bülent Tanla’nın isteği üzerine CHP Bilim Yönetim Kültür Platformu’na "yolsuzluk raporu" hazırladı; Genel Başkan Deniz Baykal’ın dikkatini çeken bu rapor Kemal Kılıçdaroğlu’na CHP'nin kapılarını açtı; Baykal Kılıçdaroğlu’nu partiye davet etti; yine aynı dönemde CHP kontenjanından Türkiye İş Bankası’nın yönetim kuruluna girdi.
Sadece iki partinin Meclise girebildiği 2002 Türkiye genel seçimlerinde Cumhuriyet Halk Partisi (CHP) İstanbul milletvekili olarak Meclise girdi.
CHP İstanbul milletvekili ve Grup Başkanvekili olan Kemal Kılıçdaroğlu, 29 Mart seçimlerine partisinin İstanbul Büyükşehir Belediye başkan adayı olarak katıldı. Seçimi, 28 Mart seçimlerinden beri İstanbul Belediye Başkanlığı görevini üstlenen AK Parti adayı Kadir Topbaş % 44,7 oy alarak kazandı. Kılıçdaroğlu elde ettiği %36,80'lik oy yüzdesiyle, partisinin İstanbul Büyükşehir Belediye başkanlığı için aldığı oy oranını 2004 yerel seçimlerinde %25'in üstünde bir oranda artırdı.
Cumhuriyet Halk Partisi Grup Başkanvekili iken CHP Genel Başkanı Deniz Baykal'ın 10 Mayıs 2010 tarihindeki istifasının ardından yaptığı açıklamada parti olağan kurultayında aday olmayacağını belirtse de daha sonra 17 Mayıs 2010 tarihinde CHP Grup Başkanvekilliğinden istifa ederek kurultayda aday olacağını açıkladı.
22 Mayıs 2010 tarihinde yapılan 33. Olağan CHP Kurultayı'nda, 1249 delegeden 1200'ünün imzasını alarak ve tek aday olarak girdiği kurultayda geçerli 1189 oyun tamamını alarak CHP'nin 7. genel başkanı oldu.