Отец Форстера изучал архитектуру и был неплохим рисовальщиком. В личном плане он был мужчиной, что называется, не склонным к супружеской жизни. Примечательно, что в свое свадебное путешествие по Франции он отправился не только с молодой женой, но и с другом. Впоследствии Форстер старательно избегал говорить об отце, подспудно виня его в собственных проблемах. Дело в том, что отношение Форстера к своей гомосексуальности всю его долгую жизнь, за исключением, быть может, самого последнего периода, оставалось весьма непростым. В автобиографии он писал: «Отец всегда был для меня сторонней фигурой. Я ни разу не разглядел в нем себя, не помогли даже его письма и фотографии».

Мать Форстера служила в различных домах гувернанткой. Она была некрасивой женщиной. Волевая и властная, к концу жизни Лили превратилась в безобразное оплывшее существо с выпученными глазами. Ее влияние на сына было огромным и безраздельным. Он и любил ее, и жалел, и боялся, и ненавидел, до конца ее жизни сохраняя с ней теснейшую связь.

Двоюродная бабка Марианна Торнтон, умершая в 1887 году, завещала внучатому племяннику солидный капитал, позволивший ему получить солидное образование и не думать о службе ради куска хлеба по окончании университета.

Через два с половиной года после смерти отца Форстер с матерью поселились в имении Рукснест в Хартфордшире. Именно здесь зародилась любовь Форстера к провинциальной Англии. Годы, проведенные в Рукснесте, Форстер вспоминал с неизменной теплотой. Образ этого дома Форстер впоследствии дал в романе «Хауэрдс Энд», а имя мальчика-садовника из Рукснеста увековечил в одном из лучших своих романов «Самое долгое путешествие» и в рассказе «Анселл» из тематического сборника «В жизни грядущей». Эта новелла повествует о студенте-классике (каковым был в Кембридже и сам Форстер, специализировавшийся на греческой античности), забросившем свою научную карьеру ради ровесника-егеря, с которым он играл в детские годы, когда тот был помощником садовника в его поместье. Теперь они вместе странствуют по сельской Англии, не заботясь о будущем.