První doložená písemná zmínka o Kačerovu je z roku 1562. Jedná se o urbář rychnovského panství dokumentující sklářskou výrobu v Kačerově a jmenuje i jednotlivé obyvatele. Urbanismus obce i nálezy v lokalitě však dokladují existenci vsi minimálně o sto let dříve. Až do poloviny 17. století byl Kačerov českou vesnicí.

V roce 1654 jsou zaznamenána vedle českých jmen i jména jako Kryštof Ulrych, Jakub Hybner, Kašpar Hermann. Počátkem 18. století se kačerovské rody ustalují, mizí definitivně česká jména i první jména německá.

 

První dřevěný kostel stál v údolí (dnes kamenný kříž proti mlýnu) již před rokem 1556 (1449). V roce 1683 bylo rozhodnuto o zboření „stářím zchátralého kostela“ a jeho výstavbě na místě dnešní stavby. Byl znovu postaven roku 1684 nad údolím a byl opět dřevěný. Vyhořel po zásahu blesku v roce 1794. V letech 1796–1798 byl vybudován nový klasicistní kamenný kostel sv. Kateřiny, stojící dodnes.

V roce 2016 byl Kačerov vyhlášen jako vesnická památková zóna – jediná v Orlických horách.