Carlos D’ Áustria nasceu a 17 de Agosto de 1887 no Castelo de Persenberg, sendo filho do Arquiduque Otto (1865-1906) e da Princesa Maria Josefa de Saxe (1867-1944). É sobrinho-neto do Imperador Francisco José | (1830-1916). A 21 de Outubro de 1911, Carlos de Austria casa com a Princesa de Parma, Zita de Bourbon (1892-1989).
Após o assassinato do herdeiro ao trono do Império Austro-Húngaro, Arquiduque Francisco Fernando (1863-1914), em Serajevo, a 28 de Junho de 1914, o Arquiduque Carlos torna-se o sucessor ao trono.