不久，黄巢大起义在唐朝军队和唐朝借助的外族军队的联合镇压下失败，张全义也像许多农民起义军将领一样，投降了唐朝。张全义见河阳节度使诸葛爽较有势力，便投靠了他，诸葛爽屡次派他剿杀起义军残部和袭击其他军阀，张全义立了许多战功。在诸葛爽的推荐保举下，张全义被任命为泽州刺史。不久，诸葛爽病死，其部下李罕之与刘经相互仇杀，都希望能占领洛阳。当时，张全义是刘经的部下，刘经认为张全义既可靠，又有作战经验，就派他去抵抗凶悍的李罕之。张全义带着刘经给他的兵马来到前线，发现李罕之的势力很大，而且战斗力很强，别说自己，就是刘经亲来也无法抵敌。在分析具体情况后，张全义就毫不迟疑地投靠了李罕之，反过来与刘经为敌，刘经见张全义背叛，只得向诸葛爽的儿子诸葛仲求援。在诸葛仲的支持下，刘经打败了李罕之。李罕之见刘经求救于人，也不甘示弱，就向以镇压农民起义军起家的大军阀李克用求救。得到李克用的帮助后，李罕之又反败为胜，占领了许多地方。这样，张全义又被李罕之推荐为河南尹。
这河南尹的官职比泽州刺史的官权大了些，但却很不好当。李罕之是个只懂得杀人抢掠、征战杀戮的军阀，根本就不懂得安顿流民，组织生产，总是接二连三地向张全义催要军需物品。当时民生凋敝，饿殍遍地，军粮极难筹集，尽管张全义尽力供应，还是无法满足李罕之的要求，加之李罕之性格暴躁，弄得无人敢去送粮。许多部下都劝张全义脱离李罕之或是干脆反叛，可张全义总是好言劝慰，不露声色。