خلوت خانه سلطنتی – تهران به سبب موقعیت خاص جغرافیایی و قابلیت دسترسی از آن‌جا به ۴ سوی کشور مورد توجه کریم‌خان زند بود و خان زند قصد داشت دربار خود را از شیراز به تهران منتقل سازد؛ از این‌رو در مدتی که کریم‌خان در تهران اقامت داشت، به دستور او در محل ارگ سلطنتی کنونی که در آن روزگار جز ۴ باغی از زمان شاه عباس اول و عمارت و دیوانخانه‌ای از شاه سلیمان صفوی، عمارت مهم دیگری نداشت، عمارت و دارالحکومه و حرم‌خانه و خلوت‌خانه بنا شد. گویا در همین زمان دوباره برج و بارویی در اطراف ارگ احداث، و خندقی عمیق گرداگرد آن حفر گردید./ ذکا،، یحیی، ج۱، ۷-۸، تاریخچه ساختمان‌های ارگ سلطنتی تهران، ۱۳۴۹ش.
