ความเป็นมา ๒๓ ตุลาคมของทุกปี เป็นวันคล้ายวันสวรรคตของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๕ ทุกปีจะมีการวางพวงมาลาดอกไม้ที่พระบรมรูปทรงม้า เพื่อเป็นการรำลึกถึงพระมหากรุณาธิคุณของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว
เมื่อวันที่ ๒๓ ตุลาคม ๒๔๕๓ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๕ ทรงประชวรเสด็จสวรรคต ณ พระที่นั่งอัมพรสถานพระราชวังดุสิต ครั้นนั้นเป็นที่เศร้าสลดอย่างใหญ่หลวงของพระบรมวงศานุวงศ์และปวงชนทั่วประเทศ เพราะพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงเป็นกษัตริย์ที่เคารพรักของทวยราษฎร์ ทรงมีพระมหากรุณาธิคุณอเนกประการทั้งในการปกครองบ้านเมืองและพระราชทานความร่มเย็นเป็นสุขแก่ชนทุกหมู่เหล่า ทวยราษฎร์ทั้งปวงจึงได้ถวายพระนามว่า พระปิยมหาราช หรือพระพุทธเจ้าหลวง เมื่อถวายพระเพลิงพระบรมศพตามราชประเพณีแล้ว ครั้งเมื่อบรรจบอภิลักขิตสมัยคล้ายวันสวรรคต พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว รัชกาลที่ ๖ ผู้สืบราชสันตติวงศ์ ได้ทรงบำเพ็ญพระราชกุศลทักษิณานุปทานถวายตามราชประเพณี โดยเชิญพระโกศพระบรมอัฐิพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวออกประดิษฐานบนพระแท่นนพปฎลมหา-เศวตฉัตร และเชิญพระพุทธรูปปางประจำพระชนมวารประดิษฐาน ณ โต๊ะหมู่ในพระที่นั่งจักรีมหาปราสาท หรือพระที่นั่งอนันตสมาคมส่วนที่พระบรมราชานุสาวรีย์พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ณ พระลานพระราชวังดุสิต หน้าที่นั่งอนันตสมาคม ที่เรียกว่าพระบรมรูปทรงม้า ซึ่งเป็นพระบรมราชานุสาวรีย์ที่พระบรมวงศานุวงศ์ข้าราชการ พ่อค้า คหบดี ปวงชนชาวไทยทุกหมู่เหล่าผู้สำนึกในพระมหากรุณาธิคุณได้ร่วมใจกันรวบรวมเงิน จัดสร้างประดิษฐานขึ้นน้อมเกล้าฯถวายพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ขณะที่ทรงพระชนม์อยู่เนื่องในมหามงคลสมัยที่ทรงครองราชย์ยั่งยืนนานถึง ๔๐ ปี และพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้เสด็จพระราชดำเนินมาทรงเปิดพระบรมราชานุสาวรีย์ด้วยพระองค์เอง เมื่อวันที่ ๑๐ พฤศจิกายนพ.ศ. ๒๔๕๑ นั้น
ต่อมาทางราชการได้ประกาศให้วันที่ ๒๓ ตุลาคมซึ่งเป็นวันสวรรคตของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เป็นวันที่ระลึกสำคัญของชาติเรียกว่า วันปิยมหาราช และกำหนดให้หยุดราชการวันหนึ่งในวันปิยมหาราช เจ้าหน้าที่กระทรวงมหาดไทยซึ่งต่อมาเป็น กรุงเทพมหานคร ร่วมด้วยกระทรวงวัง ซึ่งต่อมาเป็นสำนักพระราชวัง ได้จัดตกแต่งพระบรมราชานุสาวรีย์ ตั้งราชวัติ ฉัตร ๕ ชั้น ประดับโคม ไฟ ราวเทียม กระถางธูป ทอดเครื่องราชสักการะที่หน้าพระบรมราชานุสาวรีย์ตั้งแต่นั้นมาจนถึงปัจจุบัน
พระราชพิธีทรงบำเพ็ญพระราชกุศลวันปิยมหาราชครั้งแรก คือ ถัดจากปีที่ได้ถวายพระเพลิงพระบรมศพพระบาทสมเด็จพระจุลจอม เกล้าเจ้าอยู่หัว พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวทรงบำเพ็ญพระราชกุศลทักษิณานุปทานถวายแล้ว ได้เสด็จฯไปถวายพวงมาลา ทรงจุดธูปเทียนเครื่องราชสักการะที่พระบรมราชานุสาวรีย์