На некоторое время Крылов отошел от литературных дел. Средства для существования начала приносить ему карточная игра, в которой он оказался величайшим и дерзким мастером (а говорят, и фокусником). Гастроли Крылова запомнили в Москве, в Нижнем Новгороде, в Ярославле, в Тамбове, в Киеве, в Могилеве, в Серпухове, в Туле. В конце концов, карты, наверное, его и сгубили бы, но в начале 1797 года он близко подружился с князем С. Ф. Голицыным. Князь предложил Крылову занять место его личного секретаря и домашнего учителя. Теперь Крылов много времени проводил в имении князя – селе Казацком Киевской губернии. Владея несколькими языками, он обучал сыновей князя языкам и словесности, играл на музыкальных инструментах. Специально для домашнего театра Голицыных Крылов написал шутовскую трагедию «Трумф, или Подщипа» и сам сыграл в ней роль Трумфа – наглого немецкого принца.
11 марта 1801 года в России произошел дворцовый переворот: император Павел I был задушен, на престол вступил Александр I. Князь Голицын, пользовавшийся доверием нового царя, был назначен лифляндским генерал-губернатором, а его секретарь произведен в правители канцелярии. Два года Крылов прослужил в Риге, а осенью 1803 года переехал в Серпухов к своему брату Льву Андреевичу – офицеру Орловского мушкетерского полка. Тогда же в Петербурге впервые была поставлена на сцене пьеса Крылова – «Пирог». Этот успех позволил Крылову вернуться к литературе. Появились его пьесы «Модная лавка», «Лентяй», а дружба с баснописцем Дмитриевым подтолкнула его к переводу некоторых басен Лафонтена. В конце концов, Крылов вернулся в Петербург и навсегда в нем обосновался, сняв квартиру в доме А. Н. Оленина.