বাংলার রেল ভ্রমণ’ বইতে (এল.এন. মিশ্র প্রকাশিত ইস্ট বেঙ্গল রেলওয়ে ক্যালকাটা ১৯৩৫) পাওয়া যায়, ১৮৯০ সালে নির্মিত হয়েছে রাজবাড়িটি, জয়দেবপুর রেল স্টেশনের অন্তর্ভুক্ত। বর্তমান গাজীপুরের শহরে অবস্থিত।
যতদূর জানা যায়, বাড়িটির নির্মাণকাজ শুরু করেছিলেন জমিদার লোকনারায়ণ রায়; কিন্তু এর কাজ শেষ করেন রাজা কালীনারায়ণ রায়। ভবনটির দক্ষিণ পাশে মূল ফটক বা প্রবেশদ্বার। প্রবেশদ্বারটি বর্গাকার এবং এর চার কোণে চারটি স্তম্ভ তৈরি করে ওপরে ছাদ নির্মাণ করা হয়েছে। প্রবেশপথের কাঠামোর একদিকের দৈর্ঘ্য ২০ মিটার এবং প্রবেশদ্বারের পরে একটি প্রশস্ত বারান্দা রয়েছে। এর পর রয়েছে হলঘর। হলঘরের পূর্ব এবং পশ্চিম পাশে রয়েছে তিনটি করে মোট ছয়টি বসার কক্ষ। ভবনের ওপরের তলায় ওঠার জন্য আছে শালকাঠের তৈরি প্রশস্ত সিঁড়ি। ভবনের উত্তর প্রান্তে খোলা জায়গায় নাটমন্দির।
জানা যায়, রাজবাড়ির প্রায় সব অনুষ্ঠানই হতো এই নাটমন্দিরে। বিশাল এই রাজবাড়ির সীমানায় পশ্চিমাংশের দুতলা ভবনের নাম রাজবিলাস। এ ভবনের নিচের তলায় রাজার বিশ্রামাগার ছিল, যার নাম ‘হাওয়া মহল’। দক্ষিণ পাশে উন্মুক্ত কক্ষের নাম ‘পদ্মনাভি’। ভবনের দুতলার মধ্যবর্তী একটি কক্ষ ‘রানীমহল’ নামে পরিচিত। সুরম্য এ ভবনে ছোট-বড় মিলে প্রায় ৩৬০টি কক্ষ আছে।
১৮৯৭ সালে ভূমিকম্পের পর রাজবিলাসসহ অন্যান্য ভবন পুনর্নির্মিত হয়। বর্তমান রাজবাড়িটি গাজীপুর জেলা প্রশাসক (ডিসি)-এর কার্যালয় হিসেবে ব্যবহার হচ্ছে।