Когда Гарди кончил школу, было решено, что он пойдет по стопам отца. Шестнадцатилетний юноша поступил учеником к архитектору, жившему в близлежащем Дорчестере. По словам самого Гарди, он вел тогда весьма странный, если глядеть со стороны, образ жизни. День его был разделен на три части. Он вставал рано, в четыре-пять часов утра, и садился за книги. Он с жаром занимался в те годы самообразованием: поэзия, литература, история, философия, немецкий, французский, латынь, а позже и греческий. (Ему хотелось восполнить невозможность получить университетское образование.) Затем он завтракал и шел пешком в город, где целый день посвящал архитектуре. А вечером, прихватив с собой скрипку, он отправлялся с отцом в соседнюю деревушку, и случалось, не только играл, но и лихо отплясывал под звездным небом.

В годы, когда Гарди начал свою деятельность архитектора, многие архитекторы, бывшие вместе с тем и строителями, получали подряды на восстановление старых зданий, в особенности старых церквей и соборов. Впоследствии Гарди не без юмора вспоминал, что с его помощью было испорчено немало образчиков ранней готики. Первые печатные выступления Гарди связаны с его занятиями строительством и архитектурой. В 1863 году он опубликовал очерк "О применении цветного кирпича и терракоты в современной архитектуре", а в 1865 году в "Чемберс Джорнал" появился его пронизанный юмором рассказ "Как я построил себе дом".

В 1862 году Гарди уехал в Лондон, где в течение пяти лет работал и изучал готическую архитектуру у известного архитектора Артура Блумфилда, посещая в то же время вечерние курсы при Кннгс-Колледже. В 1863 году ему была присуждена медаль Института Британских архитекторов. Архитектурные занятия Гарди найдут свое отражение впоследствии в его прозе, в кратких, но точных и образных описаниях.

Свою первую жену Эмму Лавинию Гарди встретил в 1870 году благодаря архитектурному заказу. Молодой архитектор приехал в Корнуолл, где он должен был заняться реставрацией церкви в Сент-Джулиоте. Эмили была свояченицей пастора; роман их развивался во время становившихся все более частыми наездов молодого архитектора. Однако пожениться молодые люди смогли лишь спустя несколько лет, в 1874 году, когда Гарди смог оставить архитектуру и стал профессиональным литератором. Забегая вперед, скажем, что брак этот не был удачным. Последние годы жизни Эммы супруги жили врозь.