O Conselho Nacional dos Direitos do Idoso (CNDI) foi criado pelo Decreto nº 4.227, de 13 de maio de 2002, inicialmente com caráter consultivo e sem paridade. A paridade foi dada posteriormente pelo Decreto nº 4.287, de 27 de junho do mesmo ano.

A primeira compisição do Conselho, segundo o Decreto nº 4.287, comportava 10 representantes da sociedade civil organizada e 10 representantes dos órgãos governamentais federais que têm interface com a Política Nacional do Idoso. As reuniões aconteciam trimestralmente.

No dia 6 de setembro de 2002 foi publicada no Diário Oficial a nomeação dos conselheiros representantes das entidades da sociedade civil organizada que haviam sido eleitas.

A primeira reunião do CNDI ocorreu no dia 1º de outubro de 2002; a segunda no dia 5 de novembro e a terceira nos dias 2 e 3 de dezembro de 2002, quando finalmente houve a eleição da presidência do colegiado.

A primeira chapa eleita foi composta pela representante da Conferência Nacional dos Bispos do Brasil - CNBB e, como vice-presidente, um representante do Asilo Rio Branco, de Aracaju, publicada no Diário Oficial no dia 28 de fevereiro de 2003.

Dentre as deliberações do CNDI, naquela sua primeira formação, foi imediatamente reivindicada a mudança do referido Conselho para órgão deliberativo. A Secretaria Especial dos Direitos Humanos envidou esforços junto à Casa Civil, tendo como resultado a publicação, no dia 17 de junho de 2004, do Decreto nº 5.109. A partir de então o Conselho Nacional dos Direitos do Idoso passou a ter caráter deliberativo e sua composição foi ampliada para 28 membros (sendo 14 representantes de instituições da sociedade civil organizada e 14 representantes de instituições governamentais).

O apoio técnico e financeiro para o funcionamento do CNDI foi atribuído à Secretaria Especial dos Direitos Humanos (atual Secretaria de Direitos Humanos) da Presidência da República.