胡耀邦虽说生在湖南，从小熟读《岳阳楼记》，第一次到岳阳楼，却是在1961年的三月。他对陪同的岳阳县委负责人说，要好好保护这座闻名天下的建筑。

胡耀邦二登岳阳楼大约在1962年的12月间或1963年1月初。据他当时的警卫员解方武回忆，胡耀邦走进岳阳楼一层，挺立着，背诵了一遍《岳阳楼记》。

1982年仲春，新华社记者刘春贤到岳阳采访，登岳阳楼，发现主楼里设置了“主楼危险，脚步放轻”的警示牌，在二楼有“栏杆腐朽，请勿靠近”字样警告……随后写了内参《闻名中外的岳阳楼亟需修缮》，指出岳阳楼早该修缮，至今未能修缮的原因是管理体制不顺，本该由文化部门管理的岳阳楼却于1980年3月划归市城建局管理，从此岳阳市文化部门和城建部门为岳阳楼的“归属”问题争论至今，阻碍了维修工程按期展开。

胡耀邦当天就细阅了这篇内参，并写下批示：

此件转(毛)致用、万达同志。这类事，省委必须有权威。谁不执行省委的决定，就把谁调开。“文化大革命”遗留下来的谁都有否决权的祸害，至今没有肃清，这主要是由于我们党内至今有些人把党和人民赋予自己的严肃职责，看成是可以为所欲为的权力所致。但我们一些领导同志，老是当老好人，对一些错误思想和行为，不敢批评，不敢教育，更不敢执行纪律。应该说，这也是有负党和人民重托的一种不敢苟同的表现。请你们大声疾呼一下。

胡耀邦的批示件转送湖南后，湖南省省长办公会议于5月27日专门讨论如何落实胡耀邦的批示，决定否决岳阳市原议，将岳阳楼和公园交文化部门管理。理顺管理关系之后，1982年8月，岳阳楼落架大修工程开始。1984年1月，岳阳楼重新组装完毕，以原貌矗立在洞庭湖边。

1988年11月，已辞去总书记职务的胡耀邦回故乡湖南小住。他于12月7日午后，第三次登上岳阳楼。

来到楼前香炉前，胡耀邦开始背诵《岳阳楼记》。在个别文句处，胡耀邦有些磕绊，不像20多年前初次登楼时背诵那般如同行云流水了。不过，左右稍作提示，胡耀邦即能接住下句，最后背诵完全文。

下得岳阳楼，公园管理处负责人奉上留言册，希望胡耀邦题词留言。胡耀邦谢绝了。岳阳市领导人亦上前请求，希望胡耀邦在岳阳楼留下墨迹。胡耀邦执意不肯动笔，他摇了摇头，离开了留言桌。