Особняк возведен в чрезвычайно короткий срок 1784-1786 годы, что породило одну из легенд, которая гласит, что Дом Пашкова построили еще на старом фундаменте XVII века.
Другая легенда гласит, что Баженов, обидевшись на Екатерину II, развернул особняк "задом к кремлю". Однако, это всего лишь легенда, у особняка оба фасада одинаково красивы, оба они главные, а расположил вход Баженов со стороны Староваганьковского переулка, потому что с другой стороны очень крутой склон, с каретой невозможно было заехать.
Особняк построен в стиле классицизм: трехчастная структура, главное здание, два флигеля, ряд хозяйственных построек. В левой хозяйственной постройке находилась конюшня, а справа был конный манеж.
Фасад здания отсылает нас к античным образам: с двух сторон здания женские фигуры, существует версия, что это четыре времени года.