Проект Сперанского вызвал сопротивление консервативной части дворянства, которое усмотрело в нем угрозу самодержавно-крепостнической системе.
Ненависть дворянства к идеям Сперанского нашла яркое выражение в записке Н.Карамзина "О древней и новой России", представленной им императору. В записке критиковалась внутренняя политика Александра I и доказывалась необходимость сохранения на вечные времена самодержавия, для чего привлекался обширный исторический материал. Карамзин особенно превозносил кумира дворянства Екатерину II и указывал, что Александру следовало не проводить новых реформ, а совершенствовать учреждения, созданные Екатериной. Он утверждал, что вместо всех реформ достаточно было бы подыскать 50 хороших губернаторов и обеспечить стране хороших духовных пастырей.
Выступление консерваторов имело успех. В марте 1812 г. Сперанский был уволен с государственной службы и сослан в Нижний Новгород под строгий надзор полиции.