В службу вступил юнкером рядового звания в Елисаветградское кавалерийское юнкерское училище. По окончании училища 27 апреля 1898 года был произведён в корнеты с назначением в 21-й драгунский Его Императорского Высочества Великого Князя Михаила Михайловича полк.
15 марта 1902 года произведён в поручики. C 1 сентября 1905 года штабс-ротмистр. 25 апреля 1912 года произведён в ротмистры.
Участник Первой мировой войны. 23 октября 1914 года был ранен. Дважды, 12 марта и 31 августа 1915 года был контужен. 20 июля 1916 года произведён в подполковники. 31 августа 1916 года Ирза-бек Гаджибеклинский был назначен штаб-офицером для поручений при заведующем этапно-транспортной частью Кавказской армии.
За боевые отличия награжден орденом Святой Анны 4-й ст. с надписью «За храбрость», мечами к имеющемуся ордену Святой Анны 3-й ст., орденом Святого Станислава 2-й ст. с мечами (1915) и орденом Святой Анны 2-й ст. с мечами (1915).
С 1918 года подполковник Ирза-бек Гаджибеклинский на службе во вновь формируемом по постановлению Закавказского комиссариата Мусульманском (с 26 июля отдельном Азербайджанском корпусе) АДР. Был произведён в полковники. Осенью 1918 года командир Караязского конного полка Азербайджанского корпуса. С ноября командир 1-го конного Татарского полка. В сентябре 1919 года назначен начальником штаба Бакинского укрепленного района.
Приказом военного министра № 128 от 2 марта 1920 года начальник штаба Бакинского укрепленного района полковник Гаджибеклинский с 1 марта 1920 года был назначен начальником Оперативно-разведывательного отделения Управления генерал-квартирмейстера Штаба армии. 3 апреля 1920 года полковник Гаджибеклинский был включён в состав междуведомственной комиссии по приему имущества интернированных частей Добровольческой армии, в качестве начальника военного отдела.