Один, забытый в Петербурге, забытый и окрест себя, ничего, кроме смерти, не ожидая в будущем и ничего ни от кого не желая, кроме полного покоя, в каком-то гордом смирении, спокойно и твёрдо коротал свои старческие дни в уединённой усадьбе граф Илия Харитонов-Трофимьев… А было время, что и он играл свою видную роль и в армии, и при дворе Елизаветы, и при Петре III; но это было давно… было да сплыло, и сплыло так, что не только сверстники и завистники графа успели давно уже простить ему успехи, забыть ему его прошлое, но даже он и сам простил им их козни и интриги и успел забыть всё минувшее и сделался вполне равнодушен как к своим былым успехам, так и к былым завистникам.
В известном «перевороте» 29 июня 1762 года он не принял ни малейшего участия, открыто порицал Орловых и остался верен памяти Петра III.
— Он хотя и немец по духу, но, несомнительно, человек честный и благожелательный ко всем российским сословиям, — говорил о Петре граф Илия, споря с Григорием Орловым на другой или на третий день после «переворота». — И для того мне, — прибавил он, — как тоже честному человеку, не подобает нарочито смутьянить и играть моим верноподданством.
Граф Илия, однако же, силой вещей вынужден был подчиниться новому порядку, но принял присягу не ранее, как воочию увидев мёртвого императора, привезённого для погребения в Алексайдро-Невскую лавру.
— Не лицу присягаю, присягаю престолу российскому… C'est le principe, mon cher! c'est une autre chose!
Наследник престола, Павел Петрович, ещё в детстве своём случайно как-то зазнал графа Илию. Однажды даже пригласил он его к столу, на свою особую половину, и граф Илия обедал с наследником, в обществе воспитателей его, графа Панина и Порошина, и в течение обеда «много утешал царственного отрока» своими занимательными и поучительными рассказами о физике, химии и о воинском устройстве многоразличных европейских армий. Но когда об этом «дошло до сведения», то граф Панин в тот же вечер деликатно «получил на замечание», и с тех пор Харитонов-Трофимьев уже не обедывал с наследником престола.