Заметив охлаждение императрицы, он пришел в ужас и отчаяние, приписал все интригам Потемкина, вызвал было князя на дуэль, но в конце концов смирился, оставил опостылевшее Сарское Село и Петербург и отбыл на постоянное жительство в свое Шкловское имение. Первое время - впрочем, весьма недолго - он был чрезвычайно расстроен крушением своей государственной карьеры. Пост, который он занимал, очень ему нравился. Кроме того, он находил, что при отставке его обидели. Правда, полученные им алмазная табакерка квадратиком и особенно пояс в фунт золота, усыпанным бриллиантами и смарагдами, были хороши. Но пожалованное Семену Гавриловичу графское достоинство его не удовлетворяло. Он знал, что родовая русская знать иронически относится к смешному немецкому титулу графа, совершенно не известному в старину на Руси, и в свое время очень посмеивалась над Борисом Шереметевым, который, происходя от Андрея Кобылы, не уступая в знатности старейшим родам, тем не менее согласился испортить свое древнее имя этой петровской кличкой, еще вдобавок всякий раз подлежавшей утверждению германского императора.

Денег и имущества Зорич получил также гораздо меньше, чем Орловы или Потемкин. Но это обстоятельство не так огорчало Семена Гавриловича. Он не был корыстолюбив и совершенно не знал цены деньгам. Безмерно щедрый и расточительный, он при всем своем богатстве почти всегда нуждался и имел множество долгов.

Граф Зорич, умом вообще довольно плохо постигавший разницу между добром и злом, был по природе своей чрезвычайно добрый человек. Он очень любил Россию - той особенной любовью, какой ее любят некоторые из русских инородцев. Преуспев на поприще государственной службы и добившись высоких степеней, граф чувствовал потребность засвидетельствовать свою благодарность новой родине. А так как Зорич любил молодежь и, кроме того, сильно скучал в Шклове, то в одно радостное летнее утро он принял решение не останавливаясь ни перед какими затратами, основать в своем поместье образцовое учебное заведение для детей бедных дворян и служилых людей.