เรื่องราวของ “วังสวนสุนันทา”ที่ประทับของพระภรรยาเจ้าและเจ้าจอม
และตำหนักในสวนสนันทาจึงมาเริ่มการก่อสร้างในสมัยรัชกาลที่ ๖ โดยพระองค์ได้ทรงพระราชดำริว่าสถานที่ในพระบรมมหาราชวังชั้นในคับแคบ ไม่เหมาะสมจะเป็นที่ประทับของพระบรมวงศานุวงศ์ฝ่ายใน จึงโปรดให้สร้างพระตำหนักและตึกในบริเวณสวนสุนันทาขึ้นอีกหลายหลัง แล้วโปรดให้เป็นที่ประทับของพระมเหสี เจ้าจอมมารดา เจ้าจอมและพระราชธิดาใน พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว จำนวน ๓๒ ตำหนัก แต่ทว่าพระตำหนักสมเด็จพระศรีพัชรินทราบรมราชินีนาถ พระบรมราชชนนีพันปีหลวงนั้นได้มีการหยุดการก่อสร้างเมื่อมีการก่ออาคารมาถึงฐานอันเนื่องมาจากทรงโปรดที่จะประทับที่พระตำหนักพญาไท จึงได้มีการแก้แบบและก่อสร้างเป็นท้องพระโรงมีนามว่า พระที่นั่งนงคราญสโมสร
ส่วนสมเด็จพระศรีสวรินทิราบรมราชเทวี พระพันวัสสาอัยยิกาเจ้า และสมเด็จพระปิตุจฉาเจ้าสุขุมาลมารศรี พระอัครราชเทวี เสด็จมาประทับที่พระตำหนักในช่วงระยะเวลาหนึ่งก่อนที่จะเสด็จไปประทับที่วังของพระราชโอรสเป็นการถาวร โดยพระราชทานพระตำหนักเป็นที่ประทับแก่เจ้านายที่อยู่ในความดูแลของพระองค์ จึงทำให้พระวิมาดาเธอ พระองค์เจ้าสายสวลีภิรมย์ กรมพระสุทธาสินีนาฏ ปิยมหาราชปดิวรัดา เป็นองค์ประธานของสวนสุนันทาจนกระทั่งสิ้นพระชนม์ในปี พ.ศ.๒๔๗๒