Вскоре государственный советник покинул свой пост для службы в одном из министерств. Император пожаловал его графским титулом, сделал сенатором и два раза подряд назначал проконсулом различных королевств. В 1806 году, сорока лет от роду, сенатор женился на сестре бывшего маркиза де Ронкероля, двадцатилетней вдове и наследнице прославленного республиканского генерала Гобера. Благодаря этому браку, где обе стороны принадлежали к знати, приумножилось уже и без того значительное состояние графа де Серизи, породнившегося теперь с бывшим маркизом де Рувром, которого император возвел в графское достоинство и сделал камергером. В 1814 году, утомившись от непрерывных трудов, г-н Серизи, пошатнувшееся здоровье которого требовало отдыха, отказался от всех своих должностей, покинул провинцию, во главе которой его поставил император, и вернулся в Париж; Наполеону, убедившемуся в дурном состоянии здоровья графа, пришлось уступить. Этот неутомимый властелин, не веривший в утомление окружающих, принял сначала жалобы графа на тяжелые недуги за малодушие. Хотя сенатор де Серизи и не был в опале, говорили, что он не может похвалиться милостями Наполеона. Поэтому после возвращения Бурбонов Людовик XVIII, которого сенатор де Серизи, ставший уже пэром Франции, признал за своего законного государя, оказал ему большое доверие, назначив членом тайного совета и государственным министром.

Он был влюблен в свою будущую жену, еще когда она состояла в первом браке, и сохранил эту страсть, несмотря на то, что супружеская жизнь со вдовой, которая никогда не теряла самообладания как до, так и после своего второго замужества, принесла ему много горьких минут; жена г-на де Серизи была избалована его отеческой снисходительностью и злоупотребляла данной ей свободой. Непрестанною работой он, как щитом, прикрывал свои сердечные огорчения, пряча их от посторонних с той тщательностью, с какой это умеют делать государственные деятели.