Между тем в личной жизни Гримма бушевала буря. Терпению жены пришел конец – она атаковала Серафиму и ее мужа анонимными письмами. А однажды, встретив соперницу на улице, при многочисленной публике устроила дикий скандал. Доставалось и самому Гримму. И вот как раз в разгар семейных неурядиц он неожиданно получил на почте записку следующего содержания: «По поводу картин зайдите при случае и получите на почте письмо под известными инициалами». (В свое время шпион договорился с австрийцами, что письма будут приходить на почту до востребования на инициалы «А.Н.Г.», а сам отправлял письма в Вену под псевдонимом Иван, Софи, Рубин, Зарубин.) Записка была написана почерком Дзиковского и переправлена, судя по всему, через консула. Что было в самом письме, так и осталось тайной, поскольку Гримм на почту не пошел: семейная драма находилась в пике своего развития, а из-за слов «при случае» он решил, что письмо не имеет большого значения.

А мадам Гримм продолжала писать анонимные письма и добилась-таки ссоры любовников. В ноябре 1901 года Гримм, ворвавшись в квартиру Бергстрем, потребовал вернуть все подаренные ей вещи. Серафима ехидно предложила, чтобы он потребовал их через суд. Анатолий Николаевич поднял страшный шум, и мадам Бергстрем послала служанку звать на помощь. Тогда Анатолий Николаевич благоразумно удалился.

В последних числах ноября агент вновь был в Петербурге, но на сей раз не по шпионским делам. При содействии Эмиля Руппа и Андроника Фитисова он собирался приобрести у некоего Гольдштейна доходное имение, которое, судя по слухам, тот продавал по дешевой цене. Вместе с ними отправилась его законная супруга, боявшаяся оставлять мужа без присмотра. Рупп и Фитисов остановились на Малой Морской улице в гостинице «Гранд отель», а Гримм с женой – на квартире у своего дяди Оскара Андреевича, действительного статского советника и известного в то время ихтиолога