В 1901—1902 годах член Тифлисского, Батумского комитетов РСДРП. После II-го съезда РСДРП (1903) — большевик. Неоднократно арестовывался, ссылался, бежал из ссылок. Участник революции 1905—1907. В декабре 1905 делегат 1-й конференции РСДРП (Таммерфорс). Делегат IV-го и V-го съездов РСДРП 1906—1907. В 1907—1908 член Бакинского комитета РСДРП. На пленуме ЦК после 6-й (Пражской) Всероссийской конференции РСДРП (1912) заочно кооптирован в ЦК и Русское бюро ЦК РСДРП.
В 1906—1907 руководил проведением так называемой экспроприации в Закавказье. В частности, 25 июня 1907 году в целях сбора средств на нужды большевиков он организовал ограбление инкассаторской кареты в Тифлисе.
В 1909—1917 находился в ссылке в посёлке Курейка Туруханского уезда, где изучал эсперанто.
После февральской революции 1917 года вернулся в Петроград. До приезда Ленина из эмиграции руководил деятельностью ЦК и Петербургского комитета партии большевиков. В 1917 член редколлегии газеты «Правда», Политбюро ЦК партии большевиков, Военно-революционного центра. По отношению к Временному правительству и его политике исходил из того, что демократическая революция ещё не завершена и свержение правительства не является практической задачей. Ввиду вынужденного ухода Ленина в подполье Сталин выступил на VI съезде РСДРП(б)) с отчетным докладом ЦК. Участвовал в Октябрьском вооружённом восстании как член партийного центра по его руководству. После победы Октябрьской революции 1917 года вошёл в Совет народных комиссаров в качестве наркома по делам национальностей.