В это время кафедральный собор был уже разрушен, и в церкви преп. Сергия Радонежского несколько раз служил ссыльный епископ, перешедший в обновленчество во время моей ссылки.

Протоиерей Михаил Андреев, разделявший со мною тяготы ссылки в Енисейский край и дальше в Богучаны и возвратившийся незадолго до меня, требовал, чтобы я освятил Сергиевский храм после епископа, перешедшего в обновленчество. Я отказался исполнить это требование, и это послужило началом тяжелых огорчений. Протоиерей Андреев вышел из подчинения мне и начал служить у себя на дому для небольшой группы своих единомышленников.

Он неоднократно писал обо мне Патриаршему Местоблюстителю митрополиту Сергию и даже ездил к нему, и сумел восстановить против меня Местоблюстителя, от которого в сентябре того же года я получил три быстро следовавших один за другим указа о переводе меня с епархиальной Ташкентской кафедры в город Рыльск Курской области викарием, потом – в город Елец викарием Орловского епископа и, наконец, в Ижевск епархиальным епископом.

Я хотел безропотно подчиниться этим переводам, но митрополит Новгородский Арсений, живший тогда в Ташкенте на положении ссыльного и бывший в большой дружбе со мной и моими детьми, настойчиво советовал мне никуда не ехать, а подать прошение об увольнении на покой.

Мне казалось, что я должен последовать совету маститого иерарха, бывшего одним их трех кандидатов на Патриарший престол на Соборе 1917 года. Я последовал его совету и был уволен на покой в 1927 году. Это было началом греховного пути и Божиих наказаний за него. Меня как епископа Ташкентского заменил митрополит Никандр, также бывший ташкентским ссыльным.

Занимаясь только приемом больных у себя на дому, я, конечно, не переставал молиться в Сергиевском храме на всех богослужениях