其实打小人在全年都可进行,但在惊蛰那天打小人则特别多。根据传统说法,在惊蛰的时候,害虫益虫都出来了,寓意在身边的小人在此时便会开始出现,也会在惊蛰那天出口伤人。按照传统,这天便要去祭白虎和「打小人」,透过白虎来镇压小人,也希望新一年小人可以远离,为自己带来好运,此为「打小人」的由来。
在香港,湾仔鹅颈桥桥底已经成为打小人之集中地。据说「打小人」要在杀气大的三叉路口最灵验,而鹅颈桥就位在路面呈现三叉状地带,因此每年「惊蛰」桥底下便会出现善男信女聚集「打小人」。
「打小人」时拜神婆口中常会念一些咒语,例如:「打你个小人头,打到你有气无得透;打你只小人手,打到你有眼都唔识偷」、「打过小人行好运」、「打过小人升官发财」等,多是祈福、正向的意味,因此「打小人」求的就是心理的慰藉,并不是恶毒的诅咒。