Будущий поэт родился в 1891 году в Варшаве в еврейской семье. Отец, Эмилий Вениаминович (Эмиль, Хаскл, Хацкель Бениаминович) Мандельштам, был мастером перчаточного дела, состоял в купцах первой гильдии, что давало ему право жить вне черты оседлости, несмотря на еврейское происхождение. Мать, Флора Овсеевна Вербловская, была музыкантом. В 1896 году семья была приписана в Ковно, а в 1897 году переехала в Петербург.
Осип получил образование в Тенишевском училище (закончил в 1907 году), российской кузнице «культурных кадров» начала XX века. В августе 1907 года подал прошение о приёме вольнослушателем на естественное отделение физико-математического факультета Санкт-Петербургского университета, но, забрав документы из канцелярии, в октябре уехал в Париж.