قلعه حسن آباد دارای حصاری خشت و گلی با پلانی تقریبا مربع شکل است که در هر چهار گوشه و نیز در میانه هریک از اضلاع آن یک برج مدور سه طبقه ساخته شده است. بررسی روی ترکیب بندی فضاها و فرسودگی بنا و... نشان می دهد که این قلعه حداقل در دو قرن پیش ساخته شده است.
قلعه حسن آباد در زمان خود در منطقه معروف و مشهور بوده بگونه ای که در برخی از کتب قدیمی از این قلعه به عنوان روستایی مهم در مجاورت فریمان و قلندرآباد نام برده شده است. این مجموعه تاریخی تا دو سه دهه پیش نیز دارای سکنه و حیات بوده است. قلعه حسن آباد از چند بخش مسکونی شکل گرفته که توسط راهروهای اصلی و فرعی از یکدیگر جدا شده اند. بخش شاه نشین آن که در قسمت غربی فضای داخلی قلعه قرار گرفته دارای عناصر معماری ویژه ای است. بگونه‌ای که برخلاف سایر بخش‌ها دارای ورودی هشتی شکل است. بعد از عبور از هشتی، حیاط بخش شاه‌نشین قراردارد که راهروهای آن با قلوه سنگ مفروش است. اتاق‌های گچبری شده این بخش نیز دارای شومینه، طاقنما و طاقچه های فراوانی است که علاوه بر زیبایی اهمیت این فضارا نسبت به سایر بخش ها نشان می دهند.