Первые упоминания о нынешнем селе Рождествено появились еще в 1499 году, когда на его месте был церковный погост «Великого Николая». После окончания Северной войны, Петр I подарил эти земли царевичу Алексею, который велел выстроить на самой большой возвышенности над Одежем деревянную церковь Пресвятого Рождества Богородицы. От церкви получило название и село — Рождествено.
После смерти царевича, село по указу Екатерины I стало уездным городом, в котором появились первые каменные дома, гостиный двор, военное училище, общественные места и новая церковь. В таком статусе село находилось почти 20 лет. С 1796 года Рождествено было передано в пожизненное пользование всех потомков советника Н.Е. Ефремова Павлом I.
Затем, в 1890 году усадьба перешла во владение Ивана Рукавишникова — действительного статского советника, золотопромышленника и крупного акционера приисков Ленска, супруга которого владела второй частью усадьбы Вырская мыза.
Бытует мнение, что именно на алее от одной части усадьбы до другой познакомились хозяин усадьбы и дочь И. Рукавишникова. С 1916 года в усадьбе появились новые хозяева — семья Набоковых, чей сын Владимир Владимирович Набоков стал известным русским писателем.
Однако в их владении усадьба оказалась не долго, в связи с революцией особняк передали под общежитие ветеринарного техникума. Вторая Мировая война также не обошла Рождествено, в нем расположился фашистский штаб. А после войны в усадьбе разместилась средняя школа.
С 1974 года в особняке разместился краеведческий музей, созданный за 20 лет до этого в библиотеке. Музейные экспозиции разместились в трех залах на первом этаже. В выставке этих экспонатов есть упоминание о семействе Рукавишникова и Набокова. С 1988 года когда музей вошел в филиалы объединенных музеев области, начинается новая история дома.
В 1995 году в музее во время пожара сгорела большая часть северной части имения, вместе с большим парадным залом, в котором на то время велись реставрации. Сейчас дом восстановили в вид XX века, каким он был во время владения последних владельцев. На первом этаже дома разместился дворянский интерьер XIX-XX веков. Большинство помещений используются в соответствии со своим назначением , например, буфет, столовая. На втором этаже здания находится библиотека, архив и служебные помещения.