中共中央为策应北伐军攻占上海，决定举行上海第三次工人武装起义，击溃北洋军阀在上海的驻军。起义前成立了特别委员会和特别军委，周恩来任书记和武装起义总指挥。周恩来征得叶挺的同意，决定调彭干臣等到上海参加武装起义的军事指挥工作。1927年3月，彭干臣带一批军事骨干秘密潜入上海。按照周恩来的指示，他与时任沪宁、沪杭铁路工人总工会委员长的孙津川一起，找到同情、支持革命的上海大律师李次山，筹集到一笔巨款以作武装起义的经费开支。随后，彭干臣奉周恩来指示到南市区担任军事指挥。当北伐军从浙江推进到上海近郊时，上海工人在特别委员会领导下发动总罢工，随即转为武装起义。武装起义开始后，彭干臣与特别军委成员王若飞、孙津川等率领南市区工人武装队伍，冲进警厅路（今金坛路）的警察局，夺取高昌庙军阀司令部，攻占兵工厂、造船厂，占领地方法院、铁路南站等重要目标。起义胜利后，即通过市民大会选举，组织了上海市民政府。这是中国共产党领导城市工人的第一次大规模武装起义的胜利。彭干臣为上海第三次工人武装起义的胜利作出了自己的贡献。
随着北伐战争的发展，蒋介石的反共面目越来越公开地暴露出来。1927年蒋介石发动“四一二”反革命政变。5月，彭干臣护送周恩来安全抵达武汉。在武汉期间，他根据党的指示，又潜回家乡英山，召集隐蔽在英山的共产党员，传播革命火种，开展农民运动。汪精卫“七一五”背叛革命后，第一次国共合作全面破裂。轰轰烈烈的大革命中途夭折，陷入一片腥风血雨之中。在革命的紧要关头，中共临时中央政治局常务委员会决定利用国民党左派旗帜在南昌举行武装起义，并成立以周恩来为书记的前敌委员会。在南昌起义准备阶段，彭干臣奉命从英山秘密潜入南昌城，参加起义的具体组织工作。8月1日凌晨南昌起义开始后，彭干臣率领所部迅速占领国民党公安局及其哨所，随即在公安局设立南昌卫戍司令部。南昌起义的第二天，彭干臣被任命为南昌公安局局长兼卫戍司令。他立即对原公安局、消防队进行改编；部署发布安民告示，安定民心；布置城防，搜查残敌，打击犯罪分子，维护社会秩序。后起义部队按照党中央的指示分批撤离南昌。彭干臣积极做好社会治安和保卫前敌委员会等工作，认真参与组织指挥军、警、公安人员撤离的工作。他还特意安排特务营副连长唐天际留下搜集情报。南昌起义标志着中国共产党独立地创造革命军队和领导革命战争的开始。彭干臣和其他革命先烈在南昌起义中作出的贡献永载史册。
南昌起义军在广东潮汕失败后，彭干臣历经艰险，经香港从海路返回上海，从事秘密革命工作。在此期间，原黄埔军校的一位同学奉蒋介石之命辗转找上门来拜访彭干臣，说蒋介石认为彭是个人才，在上海处境艰难，希望他回去，将委以重任。彭干臣听后，拍案而起，怒斥来者，坚决拒绝回到蒋介石那边去。话语铿锵，立场坚定，丝毫不为敌人的高官厚禄所动，表现了他对革命事业必胜的信念和对党的一片赤诚之心。1929年8月27日，中共中央政治局会议决定，周恩来担任中央军事部部长兼中央军事委员会主任，彭干臣为中央军事部军事委员会委员。是年春夏之交，为培养军政高级领导干部，中共中央决定在上海举办由周恩来领导的军政干部训练班。学员中有著名的共产党人许光达、王首道、蔡申熙等，讲课的有周恩来、李立三、项英等。周恩来指派彭干臣负责这个训练班的具体工作。在国民党反动派的白色恐怖下，训练班所在的上海爱文义路（今北京西路）和麦达赫司脱路（今泰兴路），敌特暗探时常出没，危险异常。彭干臣以“武汉蜂蜜公司上海蜂蜜经理处”经理“黄大老板”的身份出现，采取一切措施，加强
