โดยตามประวัติเเล้ว วังบ้านดอกไม้ นั้นเป็นที่ประทับของ นายพลเอก พระเจ้าบรมวงศ์เธอกรมพระกำแพงเพ็ชรอัครโยธิน ซึ่งเป็นพระราชโอรสองค์ที่ 35 ใน พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เเละถือว่าเป็นเจ้านายชั้นผู้ใหญ่อีกพระองค์ที่มีความสำคัญในการปกครองของอีกสองรัชกาลถัดมาคือในรัชกาลที่ 6 เเละ 7 ก่อนที่จะมีการเปลี่ยนเเปลงการปกครองจนพระองค์ต้องเสด็จรี้ภัยไปต่างประเทศอยู่ช่วงเวลาหนึ่ง เเต่ก็เสด็จกลับมาประทับที่วังเเห่งนี้ต่อจนสิ้นพระชนม์ พระองค์ทรงได้รับการขนานนามว่าทรงเป็นบิดาแห่งการรถไฟไทย เพราะเป็นผู้ที่ริเริ่มกิจการรถไฟขึ้นในประเทศไทยเเละทรงทำงานอย่างหนัก นอกจากนี้เเล้วยังทรงเป็นผู้ริเริ่มกิจการวิทยุกระจายเสียงเป็นครั้งแรกในประเทศไทยอีกด้วย
สำหรับ วังบ้านดอกไม้ นั้นหลังจากท่านเจ้าของวังสิ้นพระชนม์ไปเเล้วทางราชสกุลบุรฉัตรก็ได้ขายวังนี้ให้กรมป่าไม้ เเละถูกใช้เป็นที่ทำการของกรมป่าไม้มาช่วงระยะเวลาหนึ่งก่อนที่จะเป็นสำนักงานโรงงานกระดาษบางปะอินและสำนักงานคณะกรรมการอ้อยและน้ำตาล กระทรวงอุตสาหกรรม ในเวลาถัดมา จนสุดท้ายได้รับการขึ้นทะเบียนเป็นโบราณสถานโดยกรมศิลปากร ในปี พ.ศ. 2548 ซึ่งปัจจุบันนั้นมีการปรับปรุงเเละบูรณะใหม่จนวังเเห่งนี้กลับมาสวยงามอีกครั้ง เเละมีนักท่องเที่ยวเข้าไปเที่ยวชมพอสมควรในปัจจุบัน