Как тюремный врач, Г. проявлял необычную личную заботливость о больных, лечившихся в тюремной больнице – отделении Старой Екатерининской в Москве. Он по нескольку раз в день навещал их, беседовал с ними подолгу о их делах и домашних, и настойчиво требовал, чтобы в больнице никто – ни больные, ни служебный персонал, ни посетители – не лгали. Обнаружив неправду, он штрафовал, в пользу бедных, и служащих и посетителей. Не добившись утверждения составленного им устава трезвости между служащими, он все-таки фактически ввел его в действие. Воспользовавшись временным перемещением арестантов в казенный дом близ Покровки, он, по выводе их, стал принимать туда бесприютных, заболевших на улицах, и постепенно, подвергаясь всевозможным нареканиям и начетам, после горячих просьб и слез перед генерал-губернатором, требовавшим немедленного очищения казенного дома, добился молчаливого узаконения заведенного им обычая.

Так мало-помалу образовалась, без официального утверждения, благодаря упорству «святого доктора», полицейская больница, называемая народом до сих пор «Газовскою». Со введением нового городского устройства, это любимое детище Г. получило прочную организацию и существует ныне под именем больницы имени Императора Александра III. В небольшой квартире при этой больнице, в самой скудной обстановке, среди книг и астрономических инструментов, жил последние годы и умер Гааз; в ней же подавал он советы массе приходивших к нему по утрам больных, снабжая их бесплатно лекарствами и делясь с ними своими последними скудными средствами. Популярность его среди населения Москвы была столь велика, что во время холеры 1848 г.