根據中文大學人類學學者喬健《香港地區的打小人儀式》的論文，「打小人」源於廣東東莞、增城、四邑一帶。在中國傳統曆法的二十四節氣之中，在驚蟄（即農曆正月廿八日）那天，特別多人打小人，原因是當天冬眠的動物睡醒，廣東民間傳說中的凶神白虎亦在此時覓食，小人亦會在當天出口傷人。其次每逢農曆二月初二、二月廿三及每月農曆書所記載的「收日」、「除日」及「破日」，均有善信「打小人」。

灣仔鵝頸橋是香港「打小人」勝地。據街坊說，此處有人聚集打小人，最少已有30年。研究的學者認為，打小人多在三岔路口、天橋底及山邊進行，因為民間傳說多認為陰邪之氣喜歡在這些地方聚集，進行打小人儀式時就容易將之驅除。從前也有人在港島半山的姻緣石附近「打小人」，每逢農曆初六、十六及廿六都會有俗稱「拜神婆」的人在姻緣石旁替人驅走小人和是非。