ไยแพะต้องรับบาปด้วย

ที่มาของคำว่า แพะรับบาป นี้ ปรากฏในคัมภีร์ภาคพันธสัญญาเดิม
ซึ่งเป็นคัมภีร์ของชาวอิสราเอลผู้มีภูมิหลังเป็นผู้มีอาชีพเลี้ยงแพะ เลี้ยงแกะ

แพะรับบาปเป็นพิธีปฏิบัติในวันลบบาปประจำปีของชาวอิสราเอล
ซึ่งเริ่มต้นด้วยปุโรหิตถวายวัวเป็นเครื่องบูชาไถ่บาปของตนเองและครอบครัว

เมื่อเสร็จพิธีแล้ว ปุโรหิตจะนำแพะ ๒ ตัวไปถวายพระเป็นเจ้าที่ประตูเต็นท์นัดพบ
และจับสลากเลือกแพะ ๒ ตัวนั้น

สลากที่ ๑ เป็นสลากสำหรับแพะที่ถวายพระเป็นเจ้า อีกสลากหนึ่งเป็นสลากสำหรับแพะรับบาป หากสลากแรกตกแก่แพะตัวใด แพะตัวนั้นจะถูกฆ่าและถวายเป็นเครื่องบูชา
เพื่อไถ่บาปของประชาชน เรียกว่า "แพะรับบาป"

ส่วนสลากที่ ๒ หากตกแก่แพะตัวใด แพะตัวนั้นเรียกว่า "แพะรับบาป"
ซึ่งปุโรหิตจะถวายพระเป็นเจ้าทั้งยังมีชีวิตอยู่ แล้วใช้ทำพิธีลบบาปของประชาชน โดยยกบาปให้ตกที่แพะตัวนั้น เสร็จแล้วก็จะปล่อยแพะตัวนั้นให้นำบาปเข้าไปในป่าลึกจนแพะและบาปไม่สามารถกลับมาอีก

ส่วนในศาสนาฮินดู เซอร์มอเนียร์ วิลเลียมส์ สันนิษฐานว่า
การฆ่ามนุษย์บูชายัญคงไม่เป็นที่ถูกอัธยาศัยพื้นฐานของพวกอารยัน

คัมภีร์พราหมณะจึงอธิบายว่าเทวดาฆ่ามนุษย์

ส่วนที่เหมาะสมจะใช้บูชายัญก็ออกไปจากมนุษย์เข้าสู่ร่างม้า

ม้าจึงกลายเป็นสัตว์ที่เหมาะสมจะใช้บูชายัญ
 
เมื่อฆ่าม้า ส่วนที่เหมาะสมจะใช้บูชาก็ออกจากม้าไปเข้าร่างโค

เมื่อฆ่าโค ส่วนที่เหมาะสมจะใช้บูชาก็ออกจากโคไปสู่แกะ จากแกะไปแพะ

ส่วนที่เหมาะสมจะใช้บูชา คงอยู่ในตัวแพะนานที่สุด

แพะจึงกลายเป็นสัตว์ที่เหมาะสมที่สุดสำหรับใช้ฆ่าบูชายัญ