一二七四年（至元十一年），在元兵南下灭宋的同时，忽必烈又命屯戍在高丽的凤州经略使忻都、高丽军民总管洪茶丘等，将屯田军及女真军、水军万五千人，乘千料舟、拔都鲁轻疾舟、汲水小舟各三百艘，越海远侵日本。元军元帅忽敦与高丽都督使金方庆等由合浦攻对马岛，杀日本将领允宗助国；转攻壹歧岛，杀日本将军经高。日本俊字多天皇征藩属兵十万余人来战，元军在博多用火炮败日军。元军虽然屡胜，但在日本军的重重阻击下，兵疲箭尽，不敢深入，仓促撤回。

　　一二八一年（至元十八年），忽必烈又以派往日本的使者被杀为辞，再次大举远侵日本。这支军队主要由南宋新附军十万人组成。出师前，领兵将军范文虎请求配备战马和回回炮，忽必烈不准，说：这是海战，用那些干什么？

　　侵日元军分两路启行。洪茶丘、忻都率蒙古、高丽、汉军四万从高丽渡海。阿塔海、范文虎、李庭率领新附军乘海船九千艘自庆元、定海放帆，期以六月望前会于壹歧岛和平壶岛。忻都、洪茶丘部在壹歧岛以火炮败日军，杀其将少贰资时，此后接连失败。军中疫病大作，士气低落。两路大军会合之后，舳舻相衔而进，七月至平壶岛，移九龙山。八月一日，飓风大作，船只被海浪卷起，互相撞击沉没，军士落水溺死者无数。只有高丽船构造坚固，得以保存。统军将领范文虎等乘坐坚好船只逃生。脱走归还的兵士才十之二三。被遗弃的士卒十余万人无食无主，只好自己组织起来，推张百户作统率，号张总管，伐木作舟，准备回还。第七日，日本军来袭，元军被杀死者无数。九日，二三万人被掳至八角岛。日军尽杀蒙古、高丽、汉军，称新附军为唐人，捉去作奴隶。其后有于阊、莫青、吴万五三人逃归，溃败的真相才被揭露。

　　一二八三年（至元二十年），忽必烈又以阿塔海为征东行中书省丞相，发五卫军二万人征日本，责令江南行省大造海船。昏暴的地方官根据人户数字敷派造船数目，征求工料。为了打造海船，大批工匠被征发，离家远役。官吏督责严急，动加捶楚，工匠辛苦万状，冻死、病死者不计其数。元朝又在各地强征大批水手。江南人民纷起反抗。御史中丞崔或在一封奏章中说：“江南盗贼，相挺而起，凡二百余所，皆由拘刷水手与造海船，民不聊生，激而成变。”他请求暂停日本之役；又建策江南四省应办军需，宜量民力，勿强以土产所无；凡给物价与民者必以实；召募水手当从其所欲。忽必烈不从，又授刘国杰为征东行省左丞，练兵械于扬州。这时，福建黄华起义，声势浩大，忽必烈派刘国杰前往镇压。练兵侵日的事，暂时搁置。黄华败后，忽必烈又措置船粮军士，预定于一二八六年（至元二十三年）三月第三次远侵日本。但这时对安南的战争遭受惨败，忽必烈方图报复，所在吏民大扰，人民起义蜂起。忽必烈无法两道兴师，至元二十三年正月，下诏罢征日本，元朝侵日战争遂告结束。