用羊替罪来自古犹太教。古犹太人把每年的七月十日(即:犹太新年过后第十天)定为"赎罪日",并在这一天举行赎罪祭。仪式是这样的:通过拈阄决定两只公羊的命运,一只杀了作祭典,另一只由大祭司将双手按在羊头上宣称,犹太民族在一年中所犯下的罪过,已经转嫁到这头羊身上了。
接着,便把这头替罪羊放逐到旷野上去,即将人的罪过带入无人之境。最后,再把那赎罪的羊烧死。"替罪羊"一说由此传开。