พระองค์มีข่าวอื้อฉาว เนื่องจากเมื่อครั้งพระองค์ยังเป็นสาวแรกรุ่น ได้เสด็จไปฟังเทศน์ที่วัดพระศรีรัตนศาสดาราม พระที่เทศน์ชื่อ พระภิกษุโต ปรากฏว่าพระองค์เจ้าหญิงพระองค์นี้ และพระโตมีจิตปฏิพัทธ์เสน่หาต่อกัน ต่อมาพระโตได้สึกออกไปพระองค์เจ้ายิ่งเยาวลักษณ์ จึงได้จัดหาตึกให้ทิดโตพำนักอยู่แถวถนนเจริญกรุง และได้แอบปีนเข้าหาพระองค์เจ้ายิ่งเยาวลักษณ์ ในพระที่นั่งศิวาลัยมหาปราสาท จนเกิดเรื่องอื้อฉาวเนื่องจากพระองค์เจ้าหญิงพระองค์นี้ทรงมีครรภ์ เมื่อความทราบถึงพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้ทรงให้ลงโทษทิดโต โดยให้ตัดศีรษะที่วัดตึก (วัดพลับพลาไชย ในปัจจุบัน) ส่วนพระองค์เจ้าหญิงยอดยิ่งเยาวลักษณ์ไม่ได้ถูกประหารชีวิต เนื่องจากพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวเคยตรัสขอพระเจ้าลูกเธอ พระเจ้าลูกยาเธอทั้งหมด แก่ "ท่านผู้ใดที่จะปกครองแผ่นดินต่อไป"หากโทษประหารก็เพียงจองจำเอาไว้หรือเนรเทศ พระองค์เจ้ายิ่งเยาวลักษณ์ อรรคราชสุดา จึงถูกถอดออกเป็นสามัญชน เรียกเป็นหม่อมยิ่ง และให้ไปอยู่แถวบริเวณทุ่งบางกะปิ หรือบริเวณหนองจอกในปัจจุบัน