于右任到台湾之初，发妻高仲林及长女于芝秀在原籍，幼子于中令及其母沈建华留居上海(中令时年仅十余岁，后送去台)，大儿子儿媳又在南美洲，一家人分居大陆、台湾、南美数处，音讯阻隔，颇以为苦。

于右任晚年在台湾，除了为亡友写序、写墓志铭，三月三、五月五、九月九参加诗会外，其余时间便是读书、看望朋友。后来由于腿有寒症，朋友上门的多，他到朋友家去的少，但也有几位老友是经常走动的。

于右任在台湾的官邸，坐落在台北市和平东路青田街，它是战前日本人建造的一座住宅，以木质结构为主。大门是绿色油漆的，院落不大，有几株老树，还有几盆海棠点缀其间。于右任的书房名叫“老学斋”。

由于来访的客人太多，开支也大，加上每月总会碰到几位穷朋友前来告贷求援，因此，到了每月下旬，薪俸用光了，就闹起“饥荒”来。向人去借吧，堂堂的“院长”，既难启齿，也诸多不便，所以这类难办的差事常让老副官宋子才去办。宋从大陆跟随他到台湾，对老“院长”的为人十分了解，曾劝过老人，也在经济上卡过老人，但都不生效果。到紧要关头只得把自己的一点积蓄也贴上，但杯水车薪，无济于事，最后只好到处借债度日。

有一年，著名画家张大千由国外回到台湾(张一直在巴西、美国居住，1977年始回台湾定居)，得知老人经济很困难，主动接济他一笔钱。老人和张大千是很要好的朋友。据说，这笔钱后来偿还了宋子才平日所垫付的款项。

1962年元旦，于右任在“监察院”参加了开国纪念会以后，回首半个世纪以前的往事，不禁黯然神伤。他在日记中写下了对身后事的意见：

1月12日：“我百年后，愿葬于玉山或阿里山树木多的高处，可以时时望大陆。(在这一段日记旁自注：“山要最高者，树要大者。”)我之故乡，是中国大陆。”13日：“早想辞职，种种事故，做不清楚，滞留而又滞留，谓之何哉!”22日：“葬我在台北近处高山之上亦可，但是山要最高者。”可见死的问题经常在他脑际萦绕。又过了两天(1月24日)，一夜未眠的老人，在天微微明时，写下了《望大陆》这首使人怆然涕下的悲歌：

葬我于高山之上兮，望我大陆；大陆不可见兮，只有痛哭!葬我于高山之上兮，望我故乡；故乡不可见兮，永不能忘!天苍苍，野茫茫；山之上，国有殇!

老人写了这首摧肝裂肺的哀歌之后，在人世间生活了两年零九个月又十七天。

1964年5月1日，是他在世上度过的最后一个生日。

这一年的7月2日上午11时，老人支撑着病体，应台湾大专学校本届毕业侨生之约，会见了12名侨生代表，同这些青年人谈了“立志”的问题。

不久，他生病住院。在医院的三个月里，于右任曾试图写份遗嘱，据身边的人说他写过好几次，因心绪不宁，写了又撕，撕了再写。在那种情况下，能写点什么呢?所以最后于右任没有能够留下遗嘱。

11月10日晨，他的血压开始下降，心音减弱，心跳不规则，脉搏及呼吸先快后慢，身边的人呼唤他不再有任何反应，医院施用各种方法抢救，已气息微弱。

当晚8点正，于右任先生与世长辞。