Мама будущего писателя – Рита Драгунская - и отец – Юда Перцовский - познакомились в Гомеле, там же вступили в брак. Опасаясь еврейских погромов, незадолго до появления на свет сына эмигрировали в США. Однако им не удалось прижиться на чужбине, и в 1914 году они вернулись на родину. В 1918 году Виктор Драгунский, биография которого насыщена трагическими событиями, испытал первый удар – от тифа скончался его отец.