明治時代には火薬庫となり、海軍省・陸軍省の管理となりました。しかし、大正２年(1913)に火薬庫は廃止され、大正６年(1917)宮内省帝室林野局の所管となり、白金御料地と呼ばれ、大正10年(1921)に御料地の一部が朝香宮の邸地となりました。