На настроение Брунеллески, без сомнения, повлиял и поступок его приемного сына – Андреа Лаццаро Кавальканти по прозванию Буджано. Филиппо усыновил его в 1417 году пятилетним ребенком и любил как родного, воспитал, сделал своим учеником, помощником. В 1434 году Буджано убежал из дома, взяв все деньги и драгоценности. Из Флоренции он уехал в Неаполь. Что произошло, неизвестно, известно только, что Брунеллески заставил его вернуться, простил и сделал своим единственным наследником. По-видимому, в этой ссоре виноват был не один Буджано.

Придя к власти, Козимо Медичи очень решительно расправился со своими соперниками Альбицци и со всеми, кто их поддерживал. На выборах в Советы в 1432 году Брунеллески впервые был забаллотирован. Он перестал принимать участие в выборах и отказался от политической деятельности.

Еще в 1430 году Брунеллески начал строительство капеллы Пацци, где нашли свое дальнейшее усовершенствование и развитие архитектурные и конструктивные приемы сакристии церкви Сан-Лоренцо. Эта капелла, выстроенная по заказу семейства Пацци в качестве их семейной молельни и служившая также для собраний духовных лиц из монастыря Санта-Кроче, является одним из самых совершенных и ярких произведений Брунеллески. Она расположена в узком и длинном средневековом дворе монастыря и представляет собой прямоугольное в плане помещение, вытянутое поперек двора и замыкающее одну из его коротких торцовых сторон.

Брунеллески спроектировал капеллу так, что она сочетает в себе поперечное развитие пространства интерьера с центрической композицией, а снаружи подчеркнуто фасадное решение здания с его купольным завершением. Основные пространственные элементы интерьера распределены по двум взаимно перпендикулярным осям, отчего возникает уравновешенная система здания с куполом на парусах в центре и тремя неравными по ширине ветвями креста по его сторонам. Отсутствие четвертой восполнено портиком, средняя часть которого выделена плоским куполом.