庐山会议后，撤销了彭德怀在军队内的职务，但仍保留中央委员、中央政治局委员的职务。党内文件照发，中央政治局会议也照常通知他参加，不过彭德怀照例请假就是了。根据毛泽东的意见，彭德怀有什么事都是通过杨尚昆这个办公厅主任向中央反映。杨尚昆回忆道——

1961年9月19日，彭德怀给毛泽东写信，要求到农村去做调查研究。请求中央允许他先去湖南故乡搞三个月，了解农村情况，明年春天再去山西太行。我立即把彭德怀的信送给毛泽东，过了些日子，毛泽东批回来：“彭德怀到哪里去都可以，半年也行。”10月25日晚，彭德怀到我的办公室，交来一份去湖南的调查提纲，并要求中央办公厅给他派一个临时秘书，随他去湖南，帮助整理调查材料。第二天，我把金石同志找来，金石有些紧张，我对他说：“彭德怀现在仍然是政治局委员，你还是要尊重他。你帮他整理材料，他要你怎么写，你就怎么写，有错误由他负责，与你无关。”

彭德怀这次去湖南，历时50多天，最后整理了5份调查报告。

彭德怀回京以后，看到1962年1月扩大的中央工作会议(即七千人大会)的文件，对刘少奇的书面报告认为是比较实事求是地总结了1958年以来的经验教训，还是满意的；对报告中再次肯定庐山会议的反右倾斗争，也不想要求平反。但是，1月27日，刘少奇在大会上讲话，说：“彭德怀的错误不只是写了那封信，一个政治局委员向中央主席写信，即使信中有些意见是不对的，也并不算犯错误。”“庐山会议之所以要展开反对彭德怀同志的反党集团的斗争，是由于长期以来彭德怀同志在党内有一个小集团。他参加了高岗、饶漱石反党集团。”“更主要的不是高岗利用彭德怀，而是彭德怀利用高岗，他们两个人都有国际背景，他们的反党活动，同某些外国人在中国搞颠覆活动有关”。因而，“所有的人都可以平反，唯彭德怀同志不能平反”。彭德怀对此非常气愤，立即打电话给我说：“请转报主席和刘少奇，郑重声明没有此事。”事后，彭德怀还表示，看了刘少奇那段讲话，很不舒服，书读不下去，觉也睡不好。彭德怀本来打算春节以后再到太行山老解放区去搞些调查研究，现在不能去了，去了人家不好办。

七千人大会结束以后，彭德怀立即动手把自己的一生经历，是非曲直，详细地写了一个书面材料，要求中央予以审查。这就是后来所谓彭德怀翻案的《八万言书》。

当年7月，毛泽东在北戴河召开的中央工作会议上，指责彭德怀翻案，提出要批判“翻案风、黑暗风、单干风”。9月，在北京召开八届十中全会和随后的国庆13周年活动，就不再通知彭德怀参加了。在全会上，毛泽东明确表示：我对彭德怀这个人比较清楚，不能给以平反。全会还决定成立“彭德怀专案审查委员会”，对他进行全面审查。

后来，彭德怀专案审查委员会派人去湖南，对1961年彭德怀回乡作农村调查情况作“追踪调查”。原来，彭德怀在湖南调查结束后，湖南省委曾正式书面报告中央，反映彭德怀在湖南期间表现是好的；但这时却又出尔反尔，向中央报告说彭德怀当时有“反党言行”。这次专案调查人员也专门收集一些反面材料，断章取义，肆意歪曲，编造了一个《关于彭德怀同志1961年回湘潭情况的调查报告》。

1965年9月11日，毛泽东要彭真代表中央找彭德怀谈话，说中央决定他去西南工作，任西南三线建设委员会副总指挥。彭德怀表示，我是共产党员，应该服从党的分配，但我犯了错误，说话没有人听，对工业也是外行，还是希望去农村作调查。23日，毛泽东亲自找彭德怀谈话，刘少奇、邓小平、彭真也在座。毛泽东说：“彭德怀去西南，这是党的政策，如有人不同意时，要他同我来谈。我过去反对彭德怀是积极的，现在要支持他也是真心诚意的。”“对老彭的看法应当是一分为二，我自己也是这样”。毛泽东还对彭德怀说：“也许真理在你那边。”