韦国清抵达之前，八路军山东纵队陇海南进支队曾称八路军陇海游击支队，成立于１９３９年１０月，是由若干支抗日游击队组成的，约２０００人。韦国清的到来，加强了这支队伍。两个月后，支队即下辖两个团。９月，部队整编，下辖三个团，张爱萍任司令员，韦国清任政委，这两位红军时代的老战友又一起并肩战斗了。皖南事变后，这支部队改编为新四军三师第九旅，转战于淮北地区。
１９４２年１２月，韦国清指挥了朱家岗战斗。这次战斗，对粉碎日军发动的对淮北地区的“大扫荡”具有决定性作用。１９４３年春，国民党江苏省主席兼鲁苏战区副总司令韩德勤突然率部袭击新四军淮北根据地。韦国清率九旅主力迅速包围了韩德勤部，予以围歼，最后生俘韩德勤，从而为新四军坚持在淮北和苏北的抗战创造了有利条件。１９４４年９月，新四军四师师长彭雪枫牺牲后，韦国清就任四师副师长。抗日战争胜利后，韦国清曾任军调处执行部徐州小组中共方面代表。
１９４６年解放战争开始后，韦国清任山东野战军第二纵队司令员兼政委，连续指挥部队参加了朝阳集、宿北、鲁南等战役。１９４７年２月，他率领一个纵队越过陇海铁路，发起白塔埠战役，歼灭了国民党第四十二集团军军部及其第二、第四师，活捉其司令郝鹏举。随后，韦国清率部投入莱芜战役，接着挥师向南，投入孟良崮战役。他率两个纵队在青驼寺担任阻击国民党军增援的任务，血战三昼夜，挡住了援兵，保证了野战军主力在孟良崮全歼国民党军最精锐的整编第七十四师。
１９４８年起，韦国清任苏北兵团司令员，参加了淮海战役。渡江战役前夕，任第三野战军第十兵团政委。他同司令员叶飞一起，渡过长江后又率部参加了上海战役，尔后进军福建，先后任福州市委书记、市长，福建省委组织部部长。新中国成立后，韦国清被调到北京，中央原准备让他去联合国任职。正好赶上要成立赴越军事顾问团，几乎是一夜之间，韦国清未来若干年的生活完全改变了。
就任中国驻越南军事顾问团团长
根据胡志明请求，１９５０年２月，正在莫斯科访问的MAO**与斯大林商议后，决定由中国向越南派遣军事顾问，帮助越南抗击法国的殖民统治，实现民族T.L。２月２６日，中共中央联络代表罗贵波秘密进入越南，和越南方面商议援助计划。
３月中旬，组建赴越南军事顾问团的工作紧张地展开。韦国清手持刘少奇的亲笔信，向四大野战军首长请示，请他们为军事顾问团选派干部。
韦国清先找到了第二野战军政委邓小平。邓小平看过刘少奇的信后，爽快地说：“这样吧，我们刚好都在北京开会，你一个一个去找太辛苦了，我们一起去找他们商量一下。”
邓小平和韦国清一起来到林彪住处。邓小平对林彪说：“中央决定派军事顾问团去越南，韦国清来请我们各个野战军选调干部，少奇同志还写了信来，我们一起到彭老总那里商量一下如何？”
林彪表示同意，于是一起到了彭德怀那里。彭德怀一口答应，说：“现在国内战争基本上结束了，你们要什么干部就给什么干部，要多少给多少，我们全力支持。你说要多少人吧？”
林彪表示支持彭德怀的意见。
韦国清说：“越南现在要组建三个师，有的是罗贵波去了以后刚组建起来的。越方的意见，除了总部机关以外，第一步要选派三个师的各级顾问去越南。”
邓小平说：“我看三个师的顾问由中央决定分配吧。军事顾问团的团部人员，为工作方便，就由你所在的第三野战军选调，怎么样？”
韦国清说：“这样办好，我再向少奇同志汇报。”
不久，刘少奇听了韦国清的报告后，说：“小平同志的意见很好，团部人员就由三野选调。那三个师，还有一个学校的顾问，要发个通知，向各个野战军明确分配一下。”
韦国清请示：“可否由二、三、四野各选调一个师的各级顾问，军政学校的顾问和教员，由四野就近选调？”
刘少奇同意韦国清的意见，说：“这样好。一野在西北地区，任务艰巨复杂，人员又少，这次就免了吧。你把这个考虑向聂总报告，看他还有什么意见，请中央军委发个通知。”
此议最后经MAO**批准。
１９５０年４月１７日，中央军委命令：第二、三、四野战军各抽调一个师的全套干部参加赴越军事顾问团。同时确定，由第三野战军调集干部组成顾问团团部班子，由第四野战军抽调一个军事学校的班子担任越军军事学校的顾问。
４月２６日，中央军委再次指示西北、西南、华东、中南军区和军委炮兵司令部，要求增调营以上干部１３名，参加军事顾问团，准备担任越军高级指挥机关和部队的顾问或助理顾问。
第三野战军副司令员粟裕和韦国清商议后，确定由当时设在南京的华东军政大学第三总队领导组成顾问团团部，由总队队长梅嘉生担任韦国清的主要助手。
１９５０年８月１２日拂晓，韦国清率领中国军事顾问团顾问７９人，随行人员２５０人，秘密进入越南。他们和随后赶来的西南军区副司令员兼云南军
