Cielcza leży na wzniesieniu polodowcowym, zwanym Pagórem Cielczy (117 m n.p.m.) w dolinie rzeczki Lubieszki. Nazwa miejscowości nie jest wyjaśniona, a potocznie uważa się, że pochodzi od figury pogańskiego bożka - cielca.

Cielcza to bardzo stara osada, o czym świadczy starożytny cmentarz - urny z niego zostały przekazane do Muzeum Etnograficznego w Jarocinie.

Pierwsze wzmianki o Cielczy pochodzą z 1257 r. (dokument księcia Bolesława Pobożnego z dnia 30 listopada), kiedy to wieś należała do rodu Zarembów, którzy od nazwy miejscowości przyjęli nazwisko Cieleccy.

Na terenie wsi znajduje się kościół p.w. św. Małgorzaty, którego budowę na planie krzyża greckiego według projektu Stefana Cybichowskiego rozpoczęto w 1912 r. Obok znajduje się plebania z 1933 r. z portykiem dwukolumnowym i czterospadowym dachem.