画中有九个人、八匹马，其中老妇抱着小女孩同乘一匹马。从人物分布看，三人骑马在前（卷首女扮男装者骑着代表皇族身份的三花马，马鞍垫上绣着一只猛虎、一对鸳鸯，凑巧的是牙牌令令官也叫鸳鸯），六人骑五匹马在后。九个人代表南宋有九位皇帝；八匹马代表除宋高宗外，孝宗、光宗、宁宗、理宗、度宗、恭帝、端宗、幼主等八位皇帝都是赵匡胤的后代；老妇人和抱着的小女孩暗隐南宋亡国时陆秀夫抱着幼主赵昺投海身亡。三人在前、六人在后的构图还可解释为：前三人代表恭帝、端宗、幼主，死后无陵；后六人代表从高宗到度宗的六位皇帝，死后有陵（南宋六陵）。此外，十二属相中，午马居七，代表南宋传到第七位皇帝时国将不国，也代表南宋皇位传了七代人（恭帝赵㬎、端宗赵昰和幼主赵昺是同父异母兄弟，属同一代人）。
《虢国夫人游春图》作于唐天宝十一年（752年），出自宫廷画家张萱之手。唐玄宗曾封杨贵妃的大姐为韩国夫人、三姐为虢国夫人、八姐为秦国夫人，还让杨贵妃的堂兄杨国忠当了右宰相。虢国夫人艳冶风流，最受唐玄宗恩宠，堪称盛唐第一贵妇，是当时长安城万人瞩目的人物。
北宋大观年间，宋徽宗赵佶得到《虢国夫人游春图》原本，担心名画散佚，命人仿制摹本。此后，该画原本和摹本一直收藏在宣和内府。靖康之乱后，金兵掳走徽钦二帝，也抢走了宣和内府的历代书画珍品，此画也就成了金内府的收藏品。
金章宗完颜璟（1168-1208年）人称宋徽宗转世，酷爱书画，十分崇拜宋徽宗。承安二年（1197年），他欣赏此画的原本和摹本后，在摹本卷前隔水用瘦金体题签“天水摹张萱虢国夫人游春图”。“天水”为赵宋郡望，代指宋徽宗赵佶。后来，游春图原本散佚，存世的只有北宋摹本。
第一、三张牙牌点数相同，春游图原本和摹本真假难辨，不妨称第一张牌代表游春图原本，第三张牌代表游春图摹本。
从《虢国夫人游春图》引申到安史之乱和靖康之乱，不但照应史湘云牙牌令中的“双悬日月”，也照应薛姨妈牙牌令中的宋徽宗。大难临头时，唐玄宗和宋徽宗都被迫禅位给儿子，这两位误国殃民的皇帝连书画珍玩都保不住，更不用说江山社稷了。
赵佶在五国城做梦也想不到，他下旨仿制的游春图竟成了预示南宋亡国的图谶。
在《虢国夫人游春图》上，钤有清初藏书家梁清标（号棠村、蕉林）的鉴藏印，说明梁曾收藏此画。《红楼梦》增删者严绳孙是康熙十七年（1679年）博学鸿词科翰林学士，也是书画家和诗人，和梁清标是朋友（脂批“雪芹旧有《风月宝鉴》之书，乃其弟棠村序也。”便是明证）。牙牌令中的“呢喃燕子语梁间”也可印证两人之间的亲密关系。燕，谐音严；梁指梁清标。严绳孙在北京明史馆编修《明史》时，有机会到梁清标家鉴赏这幅名画，了解该画的历史传承。在增删《红楼梦》时，他用《虢国夫人游春图》隐写南宋帝系符合逻辑。