В июне 2000 года был назначен заместителем Руководителя Администрации Президента РФ. С 24 июня 2000 года — член Совета при Президенте РФ по вопросам совершенствования правосудия. 21 августа 2000 года был избран председателем Совета директоров ОАО «Совкомфлот».

С 2000 года занимался, в основном, разработкой ряда реформ: судебной, муниципальной, административной. Так, в январе 2001 года представил руководству Верховного суда и председателям судов субъектов РФ концепцию судебной реформы. Реформа предполагала отмену пожизненного статуса судей, отмену согласования новых кандидатур судей с законодательным органом субъекта РФ, выведение Следственного комитета из состава МВД и передачу ему всех дел, расследуемых милицией, налоговой полицией и прокуратурой. Помимо этого, в июне 2001 года Козак был назначен председателем комиссии по подготовке предложений о разграничении предметов ведения и полномочий между федеральными органами государственной власти, органами государственной власти субъектов РФ и органами местного самоуправления.

С октября 2003 года — первый заместитель Руководителя Администрации Президента РФ.

В начале 2004 года возглавил предвыборный штаб В.Путина на выборах Президента РФ вместо Дмитрия Медведева, чем вызвал, по некоторым данным, ревность последнего. В результате, В.Путин получил 71,2% голосов избирателей и был избран Президентом РФ на второй срок.

9 марта 2004 года был назначен Руководителем Аппарата Правительства РФ в ранге министра. На своем посту был призван провести административную реформу и отладить исполнительную вертикаль власти. Стал главой комиссии по разграничению функций и полномочий между ведомствами.

В сентябре 2004 года был переброшен на новый участок работы: стал Полномочным Представителем Президента РФ в Южном федеральном округе — после событий в Беслане.

Хобби — езда на машине с предельной скоростью, также любит читать.