1961年春天，罗荣桓和林彪对如何学习毛著产生分歧，并在4月30日的军委常委会议上发生争论。林彪恨罗瑞卿没有支持他，并在一次接见罗瑞卿时冲他发了一通火。1965年2月，林托刘亚楼转话给罗瑞卿，说那次冲他发火是针对其他人的，是“迁怒”。
1962年秋，叶群向中央反映，林彪指挥部队入闽，累病了，需要休息。毛泽东决定，在林生病期间，由贺龙主持军委日常工作。毛泽东还多次向罗瑞卿提出，要他多向贺龙请示工作。罗瑞卿因此同贺龙交往多了起来。这也引起林的不满。有一次，他在同罗谈话时，突然说：“我们的威信不够吧?因为我们不是南昌起义的领导人。”罗瑞卿不太明白林彪的意思。萧华对他说：“林总是不是觉得你和贺老总接触太多，而和别的元帅接近得太少啊?”这一期间，叶群也几次打电话给罗瑞卿，进行旁敲侧击：“总长啊，我们这里是个病人，又不会陪你钓鱼、打牌，你还是多来些吧。”
可以为这些材料作注脚的是林彪写的一条仅供自己阅读的备忘录：“大捧别人，大跟别人，回京后根本不来见面。……让他做绝”，“当作又一彭黄也”。如果说1961年林彪对罗瑞卿是“迁怒”的话，到1962年，他不满的主要对象已经是罗瑞卿了。
促成林彪下决心整罗瑞卿的是1964年的比武和毛泽东在十三陵关于战略问题的讲话。
