Přestože pražský rodák — jeho otec František, soudní úředník, byl v době narození Karla Chytila roku 1857 služebně odeslán do Prahy —, dětství a mládí strávil v Chrudimi a toulkami po jejím okolí, do svých poznámkových bloků, jež ho provázely po celý vědecký i soukromý život, si zachycoval náčrtky hradů, kostelů, přepisoval nápisy ze zvonů, náhrobníků apod. Krom tohoto období dětství a mládí, stráveného v Chrudimi, zůstal natrvalo v Praze. Ta se totiž stala od vysokoškolských studií jeho domovem a on později jejím patriotem Jako studijní obor na vysoké škole v Praze si vybral dějepis a zeměpis s pedagogickým zaměřením. Během svých vysokoškolských studií, kdy mezi jeho přednášející patřili Josef Kalousek, Václav Vladivoj Tomek, Jaroslav Goll a Otakar Hostinský, odjel na roční pobyt do Vídně (1878–1879), kde navštěvoval přednášky z dějin umění Moritze Thaussinga.
Po ukončení vysoké školy se v letech 1880–1885 věnoval pedagogické činnosti na středních školách v Praze, což pro něj byla jakási průprava do pozdějších let. U mnoha historiků umění narozených po polovině 19. století (Karla Boromeje Mádla a mladších Vincence Kramáře, Zdeňka Wirtha) se setkáváme s tím, že rozsah jejich zájmů je mnohostranný a nevěnují se pouze jednomu zvolenému období a vybranému tématu, které je provází celý život a které rozvíjejí v mnoha studiích. Ani Chytil se v tomto ohledu nelišil a byl si, v souladu s dobovými tendencemi, vědom toho, že dějiny umění je nutné zasazovat do obecnějších, kulturněhistorických souvislostí. Již během vysokoškolských studií si zvolil období středověku, kterému zůstal věrný až do smrti. V něm upřednostňoval umění gotické, ve kterém se zaměřil na studium zejména nástěnného, knižního a deskového malířství, ale věnoval se i lucemburské architektuře.
…postupně zdokonaloval analýzu, snažil se do svého bádání vložit jiné než dosavadní postupy a soudy.
Svými studiemi se snažil vyzdvihnout samostatnost českého středověkého umění a názorově se tak postavil proti německým historikům umění Alfredu Woltmannovi a Josefu Neuwirthovi, kteří české umění považovali za okrajovou odnož umění německého. Se stejným zaujetím se ale soustředil také na téma manýrismu, především dobu Rudolfa II., ale i období o hodně mladší — malířství 18. a 19. století. Chytil se stal vedoucí osobností skupiny pozitivisticky orientovaných historiků umění, kteří zde působili od konce osmdesátých let 19. století. Základem jeho bádání bylo vždy důkladné studium pramenů a výzkum historických okolností, které vznik konkrétního uměleckého díla doprovázely. Pro Chytila bylo charakteristické, že postupně zdokonaloval analýzy, snažil se do svého bádání vložit jiné než dosavadní postupy a soudy. Množství publikovaných studií a článků věnoval i jiným, zejména současným otázkám. Reflektoval téma probouzejícího se zájmu o umělecký průmysl — jeho zájem o tuto oblast pramenil z rodinného zázemí, kdy jej obklopovaly předměty ze skla a porcelánu. Rok 1885 byl pro Karla Chytila rokem velmi významným — vyhrál konkurs Obchodní a živnostenské komory na místo kustoda Uměleckoprůmyslového musea — komora si kladla požadavek znalosti dvou jazyků a dějin umění, což Chytil splňoval.
Po konkurzu byl komorou vyzván, aby se ujal založení a posléze i vedení Uměleckoprůmyslového musea. Tato instituce se pro něj stala druhým domovem až do roku 1916 a svého úkolu se zde ujal velmi zodpovědně. Snad každý rok vycestoval do některé z mnoha evropských zemí, aby tam navštívil nejvýznamnější uměleckoprůmyslová muzea či výstavu. Po několikaletém úsilí se Chytilovi podařilo vybudovat dodnes fungující instituci s množstvím sbírek a bohatou uměleckohistorickou knihovnou. Ruku v ruce s budováním Uměleckoprůmyslového musea se aktivně zapojil do boje o záchranu Prahy, především jejího historického centra. Jako ředitel význačné muzejní instituce a přední historik umění té doby zaštiťoval svojí osobou snahy bránit boření staropražské zástavby — v roce 1920 se za své zásluhy v úsilí o ochranu pražských památek stal čestným členem Klubu Za starou Prahu.
Jak je patrné, byly Chytilovi dány do vínku mimořádné zakladatelské a organizační schopnosti.
Chytil v tomto případě nepostupoval osamoceně, studoval zahraniční dění v ostatních evropských zemích, kde probíhaly stejné tendence. V ochraně památek se také angažoval v Soupisové komisi hlavního města Prahy (Komise pro soupis stavebních, uměleckých a historických památek královského hlavního města Prahy) — ta měla ve své náplni vyjadřovat se k regulačním návrhům a dokumentovat památky určené k demolici. Jeho další činnost rovněž souvisí s památkovou péčí, neboť se stal hlavním redaktorem topografického projektu Archeologické komise — Soupis památek historických a uměleckých (1897–1937). I v tomto případě čerpal ze zahraničních vzorů, na jejichž základě sestavil normu i pravidla pro Soupis. Jako hlavní ručitel tohoto projektu přijímal nebo odmítal odevzdané rukopisy, a ty odevzdané redigoval. Sám však sestavil pouze dva, rozpracovaný měl soupis Pardubicka, ten však převzal někdo jiný. Jak je z uvedených aktivit patrné, byly Chytilovi dány do vínku mimořádné zakladatelské a organizační schopnosti. Projevily se i v roce 1913 založením Kruhu pro pěstování dějin umění jako prvního spolku historiků umění (předsedal mu v letech 1915–1933) a samozřejmě také pedagogickým a organizačním působením na pražské univerzitě.
Chytil se snažil výklad doprovázet obrazem a názornou ukázkou! K tomu také sloužily exkurze, jež byly zakotveny ve stanovách kabinetu z roku 1911. Nebyly to ovšem vycházky pouze pražské…
Zde přednášel od roku 1904 jako mimořádný profesor, od roku 1911 jako profesor řádný. Chytil tehdy převzal pouhý kabinet pro dějiny umění, který patřil do sekce historických věd, ale již v roce 1914 jej přeměnil v seminář s asistentem Janem Reichertem (pomocnou vědeckou sílou) a výpomocným sluhou Františkem Štencarem, a roku 1922 dokonce v Ústav pro dějiny umění. Tehdy zde také začal přednášet i Vojtěch Birnbaum, v jehož osobě Chytil získal velmi zdatného pomocníka, přestože se s ním později názorově rozešel. Několik let zde také přednášeli představitelé ruské meziválečné emigrace — archeolog Nikodim Pavlovič Kondakov a historik umění Nikolaj Lvovič Okuněv. Díky Chytilově dlouhodobé pedagogické činnosti našel krátce před vznikem republiky konstituovaný obor dějin umění svoji kontinuitu. Právě on byl tím, kdo začal vytvářet, s entuziasmem jemu vlastním, instituci s pevným řádem, ale i odpovídajícím vybavením a zázemím nejen pro stávající, ale i budoucí studenty dějin umění. On to byl, kdo navštěvoval antikvariáty a nakupoval v nich knihy pro oborovou knihovnu, se svolením fakulty pořizoval fotografické i promítací zařízení a dokonce prosazoval myšlenku stálého fotografa za účelem pořizování snímků, které byly pro studium dějin umění primárním pramenem.
Z uvedeného vyplývá, že se Chytil snažil i v rámci výuky výklad doprovázet obrazem a názornou ukázkou. K tomu také sloužily exkurze, jež byly zakotveny ve stanovách kabinetu z roku 1911. Nebyly to ovšem vycházky pouze pražské, Chytil se svými studenty vyrážel i na exkurze delší, např. na Zvíkov, Březnici, Karlštejn, v roce 1922 dokonce podnikli exkurzi do Drážďan. Své přednášky věnoval nejen formálnímu a ikonografickému rozboru výtvarných děl, ale i výkladu životopisů umělců od Vasariho a van Mandera. Výuku pojímal systematicky, chronologicky a to tak, že v encyklopedických cyklech přednášel o dějinách evropského umění od raného křesťanství až do 19. století, věnoval se dějinám pražského stavitelství od 14. do 18. století, dějinám českého malířství od středověku do 18. století. Mimo tyto pravidelné přednášky vedl také jednohodinové semestrální lekce o jednotlivých domácích i evropských umělcích a přelomových obdobích. V nich se věnoval Josefu Mánesovi, Petru Pavlu Rubensovi, Rembrandtovi, Michelangelovi, Raffaelovi, Dürerovi, ale i francouzskému malířství 18. století.
Právě na něm ležela zodpovědnost za to, zda se dějiny umění jako věda u nás budou rozvíjet v souladu s jejich vývojem v okolní Evropě.
Své posluchače neopomíjel připravovat na život v praxi, když jim vykládal o muzejnictví a galerijnictví. Obor dějin umění Chytil pojímal velmi komplexně, jako vědu, kde člověk musí umět téměř vše a orientovat se v pramenech: „Prameny písemné jsou zde kroniky, staré biografie, listiny, účty, smlouvy, různé zápisky a nápisy. K tomu je často upotřebí býti paleografem, epigrafikem, heraldikem a přitom míti jakýsi talent badatelský, řekl bych skoro detektivní, jíti po stopě osob i věcí.“ V těchto dvou větách se odráží Chytilova dlouholetá badatelská zkušenost, kterou se snažil předat svým následovníkům. Mezi žáky jeho semináře patřilo mnoho pozdějších odborníků — např. Oldřich Stefan, Jaromír Pečírka, Vojtěch Volavka, Alžběta Breindlová (roz. Šourková, později Birnbaumová), z dalších V. Wagner, Božena Auštěcká, Kamil Novotný, Josip Kulundžič nebo dokonce i Zdeněk Rykr, výrazná osobnost českého avantgardního umění, někteří z nich také vyjížděli na zahraniční stáže.
Do penze Karel Chytil odešel po relativně dlouhých jednáních s ministerstvem školství. Na odpočinek odcházel — po 47 letech strávených ve veřejných službách — s ročním služným 66 000 Kč na konci září roku 1927, dříve ho univerzita nemohla propustit. V dopisu, kterým ho uvolňoval z funkce, mu tehdejší děkan Bedřich Hrozný vyslovil uznání za „zásluhy o vybudování Vašeho oboru na Karlově univerzitě“ a ocenil jeho „dlouholeté, úspěšné a záslužné působení v akademickém úřadě učitelském, jakož i ve službách vědy“. Chytil se s Ústavem pro dějiny umění rozloučil velice velkoryse, věnoval mu totiž svoji knihovnu s publikacemi nejen svými, ale i mnohých jiných autorů, např. Baglioneho, Michela Ridolfiho, Liona Pascoliho, Pietra Belloriho, Miroslava Tyrše a dalších. Na závěr zbývá říci asi jen to, co vyslovil již Josef Krása: „Chytil svou činností překlenul velmi dlouhé období pronikavých změn. […] Na něm ležela zodpovědnost za to, zda se dějiny umění jako věda u nás budou rozvíjet v souladu s jejich vývojem v okolní Evropě. Chytil musel zastat téměř sám to, na co jinde, ve větších kulturních poměrech, bylo neporovnatelně více sil a prostředků.“