Впоследствии тому же самому наследнику, когда он уже был взрослым и женатым человеком, граф Илия имел случай оказать некоторую услугу. В один из своих приездов в Петербург (постоянно он жил у себя в усадьбе, но въезд в столицу, «по силе нужности», формально воспрещён ему не был) узнал он, что Павел Петрович временно стеснён в средствах, но не решается просить у императрицы, так как однажды встретил уже полный отказ в подобной своей просьбе.

— Доложите великому князю, — сказал граф одному из приближённых наследника, от которого случайно узнал о его затруднениях, — доложите ему, что в память его августейшей бабки и родителя, коим я был некогда облагодетельствован, всё моё достояние, когда бы и сколько бы ни потребовалось, принадлежит его высочеству.

И когда тот же приближённый, будучи послан благодарить графа за его обязательную услугу, присовокупил, что наследник ни теперь, ни впоследствии не забудет графу его одолжения и при первой возможности постарается сам отблагодарить его достойным образом, — граф Харитонов-Трофимьев, закусив губу, выпрямился во весь рост и сказал:

— Передайте от меня его высочеству, что напрасно он обо мне таковое мыслит, что я сие сделал не ради надежд на мою персональную выгоду в будущем, но единственно токмо ради моей благодарной памяти к моим благодетелям, от коих милостей я получил всё, чем пользуюсь ныне.

Этот случай был сопряжён с последним приездом графа в столицу. Сколь ни отличалась его услуга самым интимным и скромно-конфиденциальным характером, тем не менее люди, усердно следившие за Павлом изо всех щелей его гатчинской резиденции, сочли нужным «довести» о «негоции» графа Харитонова-Трофимьева. Эта «негоция» не понравилась, и вот с тех самых пор граф Илия почти уже безвыездно затворился в своей уединённой усадьбе. С тех пор в кругу соседей и у всех, кому только было ведомо имя Илии Харитонова-Трофимьева, стал он известен под прозвищем «опального графа».