Urodził się w Bielsku. W 1866 r. ukończył gimnazjum ewangelickie w Cieszynie. Następnie studiował teologię i filozofię we Wiedniu (do 1869), a w latach 1869-1872 w Berlinie i Jenie.

Po studiach został prywatnym nauczycielem. Od 1872 r. nauczał religii, języka niemieckiego i geografii w ewangelickiej szkole realnej w Bielsku. Został ordynowany na duchownego kościoła luterańskiego 3 listopada 1872 r. w kościele ewangelickim w Białej. W latach 1872-74 był wikariuszem superintendenta Jakuba Hönela. W 1874 został duszpasterzem parafii ewangelickiej w Wiener Neustadt. W latach 1883–1885 był proboszczem w Bielsku. W 1885 przejął parafię w Białej.

28 sierpnia 1880 wziął ślub z Laurą Gertrudą Seeliger.

W 1884 Fritsche, wraz z Theodorem Haase i Ferdynandem Schurem, założył wydawaną do 1940 gazetę „Evangelische Kirchen-Zeitung für Österreich”, komentującą ówczesną sytuację Kościoła ewangelickiego w monarchii austro-węgierskiej. W 1904 wraz z Theodorem Zöcklerem założył czasopismo „Evangelisches Gemeindeblatt für Galizien und Bukowina”, które istniało do 1939. Przez lata zamieszczał swoje kazania w ukazujących się w Lipsku: „Sammlung von geistlichen Kasualreden” i „Predigten der Gegenwart”.

Od 1907 był przewodniczącym wyższych władz Kościoła ewangelicko-augsburskiego w Austro-Węgrzech, a rok później został superintendentem Galicji i Bukowiny. Był także prezydentem dwóch ostatnich przed I wojną światową Synodów Generalnych w Wiedniu.

Dzięki jego zaangażowaniu w 1897 r. powstała szkoła ewangelicka w Salmopolu. Popierał również ideę budowy Szkoły Jubileuszowej im. Cesarza Franciszka Józefa w Lipniku, do której doszło w 1908. Wraz z żoną założył Ewangelicki Dom Sierot w Białej. W latach 1887–1892 był przewodniczącym Lipnickiego Męskiego Towarzystwa Śpiewaczego.

W 1911 r. otrzymał tytuł doktora honoris causa na wydziale teologii ewangelickiej Uniwersytetu Wiedeńskiego.

Po upadku Austro-Węgier jako dotychczasowy superintendent galicyjsko-bukowiński stanął na czele powstałego w 1920 Kościoła Ewangelickiego Augsburskiego i Helweckiego Wyznania w Małopolsce. Urząd ten pełnił do śmierci.

Przez większą część życia mieszkał w Białej, przy Schulgasse 2 (obecnie ul. S. Staszica), przy kościele Marcina Lutra.

Zmarł w wieku 78 lat i został pochowany na bialskim Cmentarzu ewangelickim.