1904年，斯大林与叶卡捷琳娜·斯瓦尼泽结婚，她是一个像他母亲一样虔诚的格鲁吉亚姑娘，以做裁缝为生。他们的儿子雅可夫于次年3月23日来到人间。当时两人都太穷，叶卡捷琳娜病倒后，斯大林没钱为妻子看病，1907年她死于肺病。

安葬完妻子，斯大林很快就为革命四处奔走，把儿子留给祖父母养。斯大林几乎整整15年没怎么关心过他，这也导致雅可夫一直与父亲感情淡漠。斯大林1919年再婚，第二任妻子娜杰日达对继子还比较关心。她给过他这样的评价：虽然很胆小，但惹恼了他，也会暴跳如雷的。

雅可夫22岁毕业于莫斯科工程技术学院，成为一名电子工程师。第一次婚姻随着刚出生便夭折的女儿而破灭，后来在一次招待会上雅可夫看上了美丽的舞蹈演员朱丽亚。朱丽亚当时已是有夫之妇，但雅可夫拆散了他们的婚姻，1935年娶得美人归。朱丽亚的前夫后来被秘密警察逮捕并枪决。1936年，女儿加林娜出生。

叶卡捷琳娜芳年早逝，或许也是一种幸运，几十年后她免于看到自己家人的悲惨遭遇。1937年大清洗高潮期间，她的弟弟亚历山大，曾是斯大林亲密战友，被六亲不认的斯大林逮捕，并于1941年枪毙。他的妻子玛丽亚和他的妹妹、也就是斯大林的妻妹玛丽科，后来也被当局枪毙。

二战期间，雅可夫成为苏联红军第14坦克师第14炮兵团某营营长。1941年初，苏联红军在斯摩棱斯克战役中失利。同年7月，雅可夫被纳粹军队俘虏，被关押在德国萨克森豪森集中营。德国后来提议由雅可夫交换被俘的德国陆军元帅保罗斯，但斯大林回说：“我不能用元帅交换一个士兵。”雅可夫被俘不久，生性多疑的斯大林将儿媳朱丽亚也关进了监狱。

1943年4月13日，雅可夫死在战俘营。他的死因流传着各种不同的版本。一说他被德国党卫队特工谋杀。一说是雅可夫在集中营里坚贞不屈，继续斗争，和战友一起壮烈牺牲。为此，苏联政府才追授他一级卫国勋章。另一说是自杀，因为斯大林曾讲过，战场上没有战俘，只有叛徒。有人说雅可夫在战俘营里和波兰战俘交上朋友，当他得知“卡廷惨案”中苏联扮演的极不光彩角色后，彻底幻灭，再加上父亲的抛弃，因此绝望自杀。

不过据最新解密的资料显示，雅可夫更有可能是在越狱时被德国士兵开枪打死。雅可夫的女儿加林娜后来成为一名作家，许多年来她一直执着追寻父亲的真正死因。2003年9月11日，加林娜得到来自美国助理国防部长杰宁斯亲自移交来的档案。档案显示，雅可夫在死亡集中营被关押期间表现得十分英勇，从未向纳粹德军表现出丝毫的妥协，更没有投降。死亡通知书和现场报告等最原始的资料显示，雅科夫是在准备逃离死亡集中营，眼看就要越过电网逃生时，被看守发现。哨卡上的重机枪接着疯狂扫射，雅可夫当场被打死，身中至少15发子弹。

值得指出的是，德军刚一投降，美英联军最高统帅部即已得知雅可夫死亡真相，但他们对此缄口不谈，据说是“担心这会给斯大林元帅带来不必要的痛苦”。不管怎样，斯大林至死也不知儿子雅可夫是怎样死的。