Иосиф Каракис родился 29 мая 1902 года в городе Балта в еврейской семье Каракиса Юлия Борисовича (1879—1943), служащего и совладельца сахарного завода в местечке Турбин, и Каракис (урождённая Гейбтман) Фриды Яковлевны (1882—1968). Иосиф был старшим братом в семье. Младший брат Давид Юльевич Каракис (1904—1970) выбрал карьеру военного врача, дослужился до полковника, во время Великой Отечественной войны был армейским эпидемиологом (начальником санэпидемотряда).
С 1909 по 1917 год Иосиф Каракис учился в Винницком реальном училище, одновременно посещая вечерние классы рисунка художника А. М. Черкасского. С 1918 года работал художником-декоратором в Винницком театре у Матвея Драка для труппы Гната Юры, Амвросия Бучмы и Марьяна Крушельницкого. В 1919 году добровольцем вступил в ряды Красной Армии. После года пребывания на польском фронте был оставлен при штабе 14-й армии военным агитатором, где служил художником агитпоезда. С 1921 года — художник Винницкого губполитпросвета в комиссии по охране памятников искусства и старины — формировал для городского музея галерею и библиотеку из собрания княгини Браницкой в усадьбе в Немирове.
В 1922 году поступает в Институт народного хозяйства на юридический факультет. Через год поступает в Киевский художественный институт на факультет живописи. Во время учёбы работает театральным художником (в 1925—26 годах под руководством Николая Бурачека). В то же время, в 1925 году, под влиянием Якова Штейнберга переходит с 3-го курса художественного факультета на первый курс архитектурного факультета.
Доктор архитектуры, заслуженный архитектор Украины и почётный академик архитектуры Юрий Асеев писал:
В 1926 году, во время учебы, Иосиф Юльевич работает старшим техником на строительстве Киевского вокзала у своего учителя Вербицкого, затем помощником проектирования, а также реализации Академии Наук и первого жилого дома врача по ул. Большой Житомирской, 17 в Киеве. В 1927 году, тайком от родителей, Иосиф женится на студентке фортепианного отделения консерватории Анне Ефимовне Копман (1904—1993), считавшейся одной из киевских красавиц.
В 1929 году И. Каракис оканчивает архитектурный факультет, на котором его учителями были:
В том же 1929 году И. Каракис вступает в ОСАУ (укр. Товариство сучасних архітекторів України), возглавляемое Я. А. Штейнбергом. Также в 1929 году (совместно с Г. И. Волошиновым и под руководством П. Ф. Алёшина) участвует в проектировании своего первого здания, ставшего впоследствии памятником архитектуры, — здания «образцовой» школы № 71, памятник архитектуры в Полевом переулке, 10, в Киеве. В 1930 году И. Каракис совместно с Е. В. Холостенко и Н. В. Холостенко, М. Г. Гречиной, П. Г. Юрченко и В. Г. Заболотным создал общество «Октябрь». Через год (1931—1932) автор (совместно с Л. Н. Кисилевичем) проектирует жилой дом для профессорско-преподавательского состава лесотехнического института в Голосеево, который строится в 1932—1933 годах. В январе 1931 года И. Каракис призван в армию в техническую часть УНР-13 на должность инженера-архитектора, а вскоре и в КЕО Украинского Военного округа.
Одновременно с военной службой, в 1931 году, И. Каракиса приглашают в основанный годом ранее Киевский инженерно-строительный институт (КИСИ) ассистентом А. М. Вербицкого, на кафедру проектирования гражданских сооружений. В том же 1931 году автор проектирует своё первое самостоятельное здание, ставшее памятником архитектуры, — Дом Красной Армии и Флота.
Центральный Дом офицеров Вооруженных Сил Украины памятник архитектуры (изначально назывался Дом Красной Армии и Флота) по ул. Грушевского, 30/1. B здании также расположен Центральный музей Вооружённых сил Украины (1931—1933 гг.). Здание построено в стиле неоампир, фасад выполнен в стиле классицизма. В Доме офицеров имеется более 150 комнат, большой концертный зал на 1000 персон, а также малый зал, два лекционных зала, библиотека из нескольких комнат и бар-ресторан.
В 1931 году за проект здания архитектор Иосиф Каракис был награждён кожаным пальто. В послужном списке Каракиса появилась следующая запись:
В марте 1932 года И. Ю. Каракис (в соавторстве с П. Г. Юрченко и С. Татаренко) получает третью премию на Всесоюзнoм конкурсе за проект реконструкции Курского вокзала в Москве (построенного в 1896 году). Первая премия не досталась никому, вторую получил И. Явейн, автор более 100 вокзалов на территории СССР. В состав жюри конкурса входили: Г. М. Людвиг, Г. Б. Бархин, М. Я. Гинзбург, Л. В. Руднев и др. Однако в итоге здание вокзала было реконструировано Г. Волошиновым в 1938 году.
В 30-х годах Каракис работал в мастерских Горсовета и Военпроекта и был одним из самых востребованных архитекторов Киева. С 1933 года из внештатного сотрудника КИСИ он был зачислен в штат, где скоро был признан одним из лучших преподавателей. Попасть на лекции к Иосифу Каракису считалось большой удачей. В том же году Каракис получает степень доцента.