Он собрал в разное время большие суммы для снабжения пересылаемых арестантов рубахами, а малолетних – тулупами; он же в течение 20 лет делал ежегодные пожертвования на покупку бандажей для арестантов, страдающих грыжею. Наконец, Г. был настойчивым ходатаем за тех, кто по его предположению, оправдываемому тогдашним состоянием уголовного правосудия, был невинно осужден, или же, по особым обстоятельствам, заслуживал и особого милосердия. В журналах московского тюремного комитета записано 142 предложения Г. о ходатайствах относительно пересмотра дел или смягчения наказания. В этого рода хлопотах он не останавливался ни пред чем, вступал в горячие споры с митрополитом Филаретом, писал письма императору Николаю и прусскому королю, брату императрицы Александры Федоровны, а однажды, при посещении государем тюремного замка, умолял о прощении 70 летнего старика, предназначенного к отсылке в Сибирь и задержанного им по болезни и дряхлости в Москве, не хотел вставать с колен, пока растроганный Государь не изрек помилования.

Сознавая, что многие из преступников явились сами жертвами отсутствия религиозного и нравственного развития, Г. особенно заботился о последнем. Пользуясь дружбою петербургского негоцианта Мерилиза, он склонил его к обширным пожертвованиям (до ста тысяч экземпляров) духовно-нравственными книгами и Священным Писанием, для раздачи арестантам, сам, кроме того, закупал большие партии таких книг для отсылки в Сибирь. Между арестантами было много ссылаемых по распоряжению помещиков. Иногда они следовали с детьми, иногда дети оставлялись и родители шли в Сибирь одни. Г. горячо, но бесплодно старался побудить комитет к ходатайству о пересмотре 315 и 322 ст. т. XIV, предоставлявших помещикам право ссылки их крепостных. Более успешны были его хлопоты о выкупе оставленных детей, для отдачи их родителям; и о дозволении помещикам не разлучать детей с родителями. Комитет, отчасти на сумму, завещанную в распоряжение Г. Федором Васильевичем Самариным, отчасти на представленные Г. пожертвования «некоторых благотворительных лиц», выкупил с 1830 по 1853 г. 74 человека и успешно ходатайствовал о безвозмездном отпуске детей в 200 слишком случаях. По почину Г., тюремный комитет с 1830 г. ежегодно уделял из своих средств сумму на «искупление» несостоятельных должников, а с 1832 г., при деятельном участии Г., был собран капитал для помощи семействам несостоятельных.