宣武军成立之初,要受永平军的节制,当时的永平军节度使是唐宗室的李勉,汴州为其治所。782年,幽州、成德、魏博、淄青四藩镇联合淮西的李希烈一同反叛唐廷,推举李希烈为天下都元帅。
第二年,宣武军和永平军一同参加了这场战争,主要讨伐位于淮西的李希烈。李勉没有什么军事才能,因此李希烈很快便攻陷汴州,李勉率领部下逃到宋州投靠刘洽。
784年,李勉回朝请罪,他的军队全都交给刘洽指挥,因此宣武军势力得到了很大的提升。刘洽有勇有谋,很快便率军收复汴州,宣武军的治所也顺势迁到汴州,唐德宗对宣武军的战果非常满意,给刘洽赐名为刘玄佐。