1959年7月2日，“庐山会议”召开。会议最初的议题是继续纠“左”。

据李锐回忆，他和胡乔木、田家英同车从北京前往武汉，再转船到九江。李锐是毛泽东当时的兼职秘书，他说：“在火车上，我同胡乔木、田家英有过闲谈，对五八年的‘大跃进’，都基本上持否定态度。”

毛泽东一路上兴致颇好，诗兴大发，写了《到韶山》、《登庐山》两首诗，抄给胡乔木、周小舟，迅即在山上传开。这么一来，使会议的气氛更为宽松。

胡乔木对于毛泽东关于“经济发展的平衡是暂时的、相对的，不平衡是永久的、绝对的”论断，也表示怀疑，提出了自己的不同见解。

屈指算来，胡乔木在毛泽东身边已工作了18年。然而，就连他也未曾料到，毛泽东在庐山上来了个急转弯：从纠“左”急转为反右倾!

还算好，胡乔木工作在毛泽东身边，消息极为灵通，他得知庐山上的风向要转了。7月21日早上，他知道张闻天要在会上作长篇发言，即给张闻天打电话，关照他“少讲缺点，尤其不要涉及全民炼钢和得不偿失的问题”。然而，张闻天不顾胡乔木这一重要提醒，仍然作了批“左”的长达三小时的发言……

1959年7月23日上午，成为庐山会议的转折点。毛泽东发话了，把会议从反“左”转到了反右倾上。

首当其冲的是“主帅”彭德怀，其次则是张闻天。此外，还有黄克诚、周小舟，也被列入“反党集团”。胡乔木的处境也颇为不妙，连他在上山途中说过的“五八年大跃进出了轨，翻了车”也被人揭发出来。所幸揭发者说此话是李锐讲的(其实是李锐转述过胡乔木的话)，而李锐不愿牵连胡乔木，自己承当了!

胡乔木得以过“关”，还在于毛泽东平日对胡乔木的印象还不错。李锐曾如此回忆：“有天刘澜波告诉我，柯庆施向他说，主席跟柯谈到对乔木的观感，说乔木跟他一二十年，总还是一介书生。这使我想起1958年4月广州会议时，主席谈到要善于听不同意见和反面意见时说的话：我们身边有个胡乔木，最能顶人，有时把你顶到墙上，顶得要死。”

好在毛泽东对胡乔木毕竟还是很信任的，而胡乔木平素也小心谨慎，“顶人”并不多。

会议“反右倾”，日渐进入高潮。特别是揭发了彭德怀、张闻天、李锐等所说毛泽东像“斯大林晚年”，一下子掀起批判高潮。8月10日下午，胡乔木抓住这一“谬论”，发挥了他的写社论的擅长，富有逻辑地从六个方面进行批驳，指出毛泽东与斯大林晚年的不同。虽说胡乔木并不赞同“反右倾”，但他作为毛泽东的政治秘书，必须在政治上维护毛泽东。这番长篇发言，是胡乔木的公开表态，意味着他要从被动转为主动。

胡乔木这一长篇发言，毛泽东听了颇为满意。翌日，毛泽东在大会上作长篇讲话，内中不指名地提及胡乔木：“李锐不是秀才，是俱乐部的人。”“想把秀才们挖去，不要妄想，是我们的人。”

“俱乐部”，指的是以彭德怀为首的所谓“军事俱乐部”(反党集团的代称)。“秀才们”，包括胡乔木、田家英，也包括陈伯达。

这么一来，胡乔木解脱了!不过，从此之后，他和毛泽东之间，产生了潜在的裂痕。这裂痕，他知，毛泽东知，表面上却仿佛一切如常。

吴冷西曾这样回忆庐山会议中处境艰难的胡乔木：1959年的庐山会议，是乔木同志一生中的一个重要关节。在会议前期，即所谓“神仙会”期间，乔木同志带领我们起草会议纪要。他对大跃进中的错误提出了尖锐的意见，并系统地写入会议纪要初稿。《纪要》受到了更激烈的指责。有些同志把它同彭老总的意见书相提并论，横加攻击。乔木同志当时既迷惑又沮丧，眼看持续半年的纠正“左”倾错误的进程被打断了。有好几天他一句话也不说，脸色阴沉，心事重重。直到毛主席讲了“秀才是我们的人”之后，乔木同志以大局为重，振作精神，为全会起草决议。

庐山会议从和风细雨变为急风暴雨，是乔木同志一生中从未有过的经历。一个月的紧张局势，使他心身交瘁，从此种下了尔后的极度精神疲劳的病根。