Přestože o existenci ústavu lze hovořit až v 2. desetiletí 20. století, začínáme sledovat jeho dějiny již o půl století dříve. Ústav nevznikl direktivním rozhodnutím ze dne na den, jeho založení bylo spíš součástí dlouhodobého a kontinuálního rozvoje oboru historie dějin umění na univerzitní půdě. Počátkům jeho vzniku proto nelze porozumět bez stručného představení vývoje v předchozích desetiletích ‒ a tedy bez připomenutí počátků dějin jako vědního oboru v českých zemích.
Náš obor ve svých začátcích čerpal z několika zdrojů. První byla silná tradice sběratelství a s ním souvisejícího znalectví, spojená jak se soukromými (šlechtickými) obrazárnami, tak především s činností veřejně působících institucí v čele s Vlasteneckým muzeem v Čechách (později Českým, dnes Národním muzeem) nebo sbírkami Společnosti vlasteneckých přátel umění, jejíž Obrazárna se v 80. letech 19. století dočkala již skutečně vědeckého, kritického zpracování z pera Viktora Barvitia. Druhým stěžejním pilířem rozvoje oboru se stala památková péče, rozvíjená v habsburské monarchii institucionálně od poloviny 19. století skrze aktivity Centrální komise pro památkovou péči. Právě rostoucí zájem o národní historii a s ní související „starožitnosti“, který se projevil i v činnosti bezpočtu spolků a produkci mnoha brožur a časopisů, nejvíce přispěl k postupnému formování dějin umění jako samostatné vědní disciplíny v českých zemích. Do velké míry i proto, že tomuto všeobecnému zájmu o výtvarné podoby minulosti dodávaly teoretický rámec debaty v soudobé architektuře, věnované otázkám stylu a toho, jak náležitě užívat historické předlohy. Složitá problematika stylu (v českém prostředí se donedávna používalo terminologicky dílčím způsobem odlišné synonymum „sloh“), která přímo souvisí s nutností periodizace a katalogizace dějin, si do velké míry o samotný specializovaný obor přímo říkala.
Od Vocelovy profesury bylo k založení plnohodnotné univerzitní stolice dějin umění ještě daleko….
Právě z kruhů, které sdílely zájem o stavební pamětihodnosti, jenž byl do té doby často zahrnován pod kolonku archeologie, pocházel zakladatel české historiografie umění Jan Erazim Vocel (1802–1871). Jeho kariéra byla spojená s Vlasteneckým muzeem v Čechách, kde se ve 40. letech etabloval jako jednatel Archeologického sboru a redaktor muzejního časopisu. Vocelova průkopnická badatelská činnost se věnovala zejména středověké architektuře a knižnímu malířství. Jeho pečlivá badatelská práce mu v roce 1850 přinesla udělení mimořádné profesury české archeologie a dějin umění na pražské Karlo-Ferdinandově univerzitě. Po mnoha průtazích, daných především politickými důvody, Vocel dosáhl roku 1862 i na pozici řádného profesora v oboru archeologie, dějin umění a české literatury, přičemž již od 50. let vypisoval část svých přednášek v českém jazyce. Na univerzitě učil až do své smrti v roce 1871.
Od Vocelovy profesury bylo k založení plnohodnotné univerzitní stolice dějin umění ještě daleko, v dějinách oboru ale tvořila důležitý mezník, protože samotné profesorské místo dějin umění se na univerzitě nejistě, ale přeci jen etablovalo. Situace s Vocelovými následovníky ale nebyla jednoduchá. Mimo jiné i proto, že 70. léta byla dobou rostoucího česko-německého napětí, které se projevilo i na univerzitní půdě. Nejvýrazněji to zakusil Alfred Woltmann (1841–1880), který na Vocelovo místo jako profesor dějin umění nastoupil v roce 1873. Přestože šlo o talentovaného badatele a ve své době renomovanou osobnost, vydržel v Praze jen krátce. Jeho zdejší dráhu ukončila tzv. Woltmannova aféra, přednáška Německé umění v Praze přednesená roku 1876, která vyvolala u české strany až hysterické pobouření. Woltmann se na základě vzniklé aféry svého místa vzdal a od roku 1878 zahájil úspěšnou, ale bohužel jen krátkou profesorskou kariéru na univerzitě ve Štrasburku. Nedlouho po Woltmannovi profesuru získal rovněž německy mluvící badatel, Hubert Janitschek (1846–1893), ovšem to se již připravovala zásadní změna z hlediska celé pražské univerzity – v roce 1882 byla rozdělena na univerzitu českou a německou a historie dějin umění se na každé z větví začala rozvíjet vlastním směrem, byť nikoliv zcela nezávisle.
Na české straně byly velké naděje spojovány s Miroslavem Tyršem (1832‒1884). Tato mimořádná osobnost, spojená dnes zejména se vznikem sokolského hnutí, nečerpala své uměleckohistorické vzdělání ze zájmu o starožitnost, ale z filosofie a estetiky. Do dějin umění proto Tyrš vnášel teoretičtější způsob přemýšlení. Na univerzitě se pokoušel neúspěšně habilitovat již v 70. letech, a to hned dvakrát, teprve v roce 1980 nakonec získal místo soukromého docenta dějin umění na pražské Polytechnice. Díky podpoře ze strany univerzitních osobností typu Jaroslava Golla nebo Jaroslava Durdíka se mu nakonec v roce 1882 přeci jen podařilo získat docenturu a o rok později i mimořádnou profesuru na univerzitě. Tyršovo zdejší působení však bohužel přerušila jeho tragická smrt hned o další rok později.
Zatímco na německé univerzitě se při předávání uměnovědné profesury podařilo zachovat kontinuitu, na té české zůstala neobsazena deset let.