祁县王氏以王殷为主系。王殷，霸公长子，东汉中山太守，食邑祁县。王殷四世孙王述，东汉侍中，幽州刺史，生三子：隗、懋、允。王允，任司徒尚书令，后与吕布密谋，设连环，诛董卓，为汉末著名的孤臣。
祁县王氏遭汉末、魏末两次家难后，元气大伤。直到南北朝时期，才相继有几支祁县王姓人为官为宦。南朝宋车骑将军王玄谟，是祁县王氏中第一位最有影响的人。至孝武末年，官至顾命大臣。其后，家世相传，显于南朝。玄谟二弟玄则，南朝宋仕太仆、国子博士，其三世孙傑，生子隆，隆生七子。次子王通，隋代名儒文中子在河东龙门传授王道之业，唐朝创业功臣房玄龄、魏征等都是他的门徒。王通的孙子王勃，才华横溢，文思出众，与杨炯、卢照邻、骆宾王皆以文词齐名天下，史称“初唐四杰”。王勃长兄勔，生二子：怡、鹤年。王勃二兄勮，生永年，永年生纶，纶生一子逢，传十九世王整征西番，钦升贵州赤水卫、后升武略将军。王通的八世孙王谏，宋太祖年间西京作坊副使，赠太子太傅，后卜居汜水县（现河南荥阳市）马固村，其孙博文，龙图阁直学士，赠太师中书令兼尚书令郑国公，生二子：田、畴，田前后三娶，生九子八女，有“九子十进士”的美谈。
与王玄谟同时，宋镇北大将军王懿与兄叡皆在晋末自前秦出奔江南，为宋武帝代晋功臣，兄弟双双封侯。又有梁右卫将军王神念、宰相王僧辩父子等人，人称“乌丸王氏”。僧辩生顗，顗生珌、珪。王珪（571~639），字叔玠，唐初大臣，隋开皇末为奉礼郎，唐太宗即位，诏拜谏议大夫，历迁黄门侍郎、侍中，与房玄龄、李静、魏征、温彦博等同知国政，多所谏诤。长子崇基生体仁、尚逸、齐望、茂时。齐望生左司郎中旭。茂时生光大、焘。焘，给事中，是古代医学文献《外台秘要》的编著者。王珪次子敬直，生乾易、乾理，其后裔象仪，天宝时为范阳长史，因乱弃官归隐。
神念三子僧修，生子景孝，景孝四世孙嵩，嵩四世孙顺，唐户部侍郎在仕9年，告老致仕，有三子：孟实、孟容、孟宝。
还是王维王缙兄弟一支，也是太原祁人。