Александр Михайлович сильно обновил кадровый состав Министерства иностранных дел, введя в него много русских людей. Он прекратил нессельродевское низкопоклонство перед австрийским канцлером К В. Л. Меттернихом (1773–1859) и уволил из министерства случайных людей. При нём был утверждён новый штат канцелярии, а в 1862 году секретную канцелярию объединили с общей. Это было косвенным свидетельством того, что все дела канцелярии стали считаться секретными.

Князь ввёл систему испытаний (экзаменов) для кандидатов, принимаемых на внешнеполитическую службу, и открыл доступ к архивным документам МИД. Благодаря усилиям директора архива К. И. Забелина и академика П. П. Пекарского, которые разработали классификацию и характеристики накопившихся в недрах учреждения документов, исследователи получили доступ к богатейшим историческим материалам России. В европейские столицы были направлены опытные и способные послы: в Париж — граф П. Д. Киселёв (1788–1872), в Лондон — граф М. И. Хребтович, в Вену — В. П. Балабин (1812–1864), в Константинополь — Н. П. Бутенев. Первым помощником нового министра стал блестящий дипломат барон Александр Генрихович Жомини, сын наполеоновского генерала швейцарца Г. В. Жомини (1779–1869), вступившего в русскую службу в 1813 году. А. Г. Жомини прославился своим «золотым пером», из-под которого вышли дипломатические документы, которые являются своего рода шедеврами. Впрочем, не исключено, что к документам прилагал свою руку и князь Горчаков. Канцлер так говорил про своего друга и помощника: «Про барона Жомини можно сказать, что он словно Иисус Христос в Евхаристии — его все едят и пьют, но никто его ещё никогда не видел…»