1931年10月到鄂豫皖苏区，任中国工农红军第四方面军4军12师师长,率部参加了黄安、商潢、潢光战役以及鄂豫皖苏区第四次反“围剿”中的冯寿二、七里坪、扶山寨等战斗。1932年9月因负伤到上海就医,曾秘密向鲁迅介绍鄂豫皖红军斗争情况。1933年3月因叛徒出卖被捕,曾被押赴南昌见蒋介石，坚贞不屈,拒绝诱降。后经中共组织和宋庆龄等营救,于5月底脱险到中央苏区，任彭(湃)杨(殷)步兵学校校长。1934年10月参加长征,任军委干部团团长,曾率干部团一部抢占皎平渡，保障红一方面军主力顺利渡过金沙江。到达陕北后任红1军团第1师师长，参加了直罗镇、东征、西征和山城堡等战役。1937年2月入抗日军政大学学习，兼任第1队队长。
抗日战争爆发后，任八路军第129师386旅旅长，率部挺进晋东南，指挥所部取得长生口、七亘村、广阳等战斗的胜利。尔后南下邯(郸)长(治)公路，取得神头岭、响堂铺等战斗胜利。1938年4月，指挥长乐村战斗,歼灭日军2200余人,对粉碎日军“九路围攻”起了决定作用。此后,率部转战冀南和鲁西北地区,参与创建晋冀豫和冀南抗日根据地。1939年2月指挥所部在威县香城固设伏诱敌，歼灭日军第10师精锐一部。1940年任太岳军区司令员。在百团大战中率部参加正太铁路破击战和榆辽战役，攻克榆社县城。1941年任太岳纵队司令员，多次挫败日伪军“扫荡”和国民党顽固派的军事进攻，巩固了太岳抗日根据地。1942年10月他参与组织指挥对沁源日军围困战，历时2年5个月，累计歼日伪军4000余人，被八路军总部誉为群众性游击战争的模范。1943年11月到延安，入中共中央党校学习。1945年6月被选为中共第七届中央候补委员。
抗日战争胜利后,率太岳纵队(后改晋冀鲁豫军区第4纵队)参加反击国民党军进犯解放区的上党战役。1946年6月蒋介石发动全面内战后，率第4纵队和太岳军区部队转战晋南、晋西前线,先后指挥闻夏、同蒲、临浮、吕梁、汾孝、晋南等战役，歼敌5万余人,有力地配合了西北战场的作战。1947年8月,晋冀鲁豫野战军第4、第9纵队和西北民主联军第38军组成陈(赓)谢(富治)集团,任中共前委书记，率部强渡黄河,转入战略进攻。继进军豫西，歼国民党军5万余人,开辟豫陕鄂解放区。后与刘(伯承)邓(小平)和陈(毅)粟(裕)野战军，密切协同，经略中原。11月指挥伏牛山东麓战役。12月参与指挥平汉路破击战。1948年3月起,率部协同华东野战军主力一部先后进行洛阳、 宛西、 宛东、郑州等战役。随后所部编入中原野战军序列，仍任第4纵队司令员。同年11月起率部参加淮海战役,在徐州以南切断津浦铁路(天津-浦口),保障华东野战军围歼黄百韬兵团的作战；在南平集阻击黄维兵团，使国民党军徐州集团陷于孤立，为战役的发展造成了有利态势；在围歼黄维兵团的作战中指挥东集团采取抵近进攻战术,直捣双堆集敌核心阵地,与友邻部队一道全歼该兵团。1949年2月，任第4兵团司令员兼政治委员。4月,指挥所部南渡长江,挺进浙赣线,解放南昌。10月，执行大迂回、大包围的作战方针，与叶剑英指挥第4、第15兵团发起广东战役。广州解放后,率所部穷追逃敌,全歼余汉谋部主力4万余人于阳春、阳江地区；尔后直插雷州半岛，切断白崇禧集团海上退
