В 1904 Сталин женился на Екатерине Сванидзе, но через три года его жена умерла от туберкулёза. Их единственный сын Яков попал в плен к немцам во время Второй Мировой войны. По распространённой версии, отражённой, в частности, в романе Ивана Стаднюка «Война» и советском фильме «Освобождение» (достоверность этого рассказа неясна), германская сторона предложила обменять его на фельдмаршала Паулюса, на что Сталин ответил: «Я солдата на фельдмаршала не меняю». В 1943 году Яков был застрелен в немецком концентрационном лагере Заксенхаузен при попытке к бегству. Яков был трижды женат и имел сына Евгения, участвовавшего в 1990-е гг. в российской политике (внук Сталина входил в избирательные списки блока Анпилова); эта прямая мужская линия семьи Джугашвили существует и сейчас.
В 1919 Сталин женился второй раз. Его вторая жена, Надежда Аллилуева, член ВКП (б), в 1932 году совершила самоубийство в своей кремлёвской квартире (официально было объявлено о скоропостижной кончине). От второго брака у Сталина было двое детей: Светлана и Василий. Его сын Василий, офицер советских военно-воздушных сил, на командных должностях участвовал в Великой Отечественной войне, после окончания ее руководил ПВО Московской области (генерал-лейтенант), после смерти Сталина был арестован, умер вскоре после освобождения в 1960 г. Дочь Сталина Светлана Аллилуева 6 марта 1967 года попросила политического убежища в посольстве Соединённых Штатов в Дели и в том же году переехала в США. В семье Сталина до возраста 11 лет воспитывался Артём Сергеев (сын погибшего революционера Фёдора Сергеева — «товарища Артёма»).
Кроме того, в туруханской ссылке у Сталина родился внебрачный сын — Константин Кузаков. Отношений с ним Сталин не поддерживал.
Cогласно свидетельствам, сыновей Сталин, бил, так что например Яков (которого Сталин обычно называл: «мой дурак») не раз должен был ночевать на лестничной площадке или в квартирах соседей (в том числе Троцкого); Н. С. Хрущев вспоминал, что однажды Сталин за неуспеваемость избил Василия сапогами. Троцкий полагал, что эти сцены семейного насилия воспроизводили атмосферу, в которой воспитывался Сталин в Гори; с этим мнением согласны и современные психологи. Cвоим отношением Сталин довел Якова до попытки самоубийства, на известие о которой среагировал издевательски: «Ха, не попал!» . С другой стороны, у приемного сына Сталина А.Сергеева сохранились благоприятные воспоминания об атмосфере в сталинском доме.
Сталин умер 5 марта 1953 года от кровоизлияния в мозг. Существует версия, согласно которой Лаврентий Берия или Н. С. Хрущев способствовали его смерти, не оказав помощи.
На похоронах Сталина 9 марта 1953 из-за огромного количества людей, желающих проститься со Сталиным, возникла давка. Точное количество жертв до сих пор неизвестно, хотя оценивается как значительное. В частности, известно, что одна из неопознанных жертв давки получила номер 1422; нумерация велась только для тех погибших, которых нельзя было опознать без помощи родственников или друзей.
Набальзамированное тело Сталина было помещено на всеобщее обозрение в Мавзолей Ленина, который в 1953—1961 именовался «Мавзолей В. И. Ленина и И. В. Сталина». 30 октября 1961 XXII съезд КПСС постановил, что «серьёзные нарушения Сталиным ленинских заветов… делают невозможным оставление гроба с его телом в Мавзолее». В ночь с 31 октября на 1 ноября 1961 тело Сталина было вынесено из Мавзолея и погребено в могиле у Кремлёвской стены. Впоследствии на могиле был открыт памятник (бюст работы Н. В. Томского).