Tvrz v Lipolticích se připomíná roku 1257. Hroznata z Lipoltic byl v letech 1332 až 1347 opatem Opatovického kláštera. Samostatná lipoltická farnost byla zřízena v roce 1350 a spadala pod pražské arcibiskupství. Na počátku 16. století se tvrz, která tu stála už uvádí pustá. Nejstarší stavbou je farní kostel, který je zasvěcen svatému Matouši. Byl postaven někdy kolem roku 1280. Kostel původně sloužil v době ohrožení k ochraně a jako úkryt obyvatel blízkého okolí. Byl obehnán asi 2 metry vysokou zdí a 2 až 3 metry hlubokým příkopem. Některé zbytky opevnění kostela se dochovaly dodnes. Od středověku se také traduje, že od kostela v Lipolticích prý vede tajná chodba na západ do Hájkových koutů. Během století byl kostel v několika etapách přestavován a opravován. Gotický původ kostela prozrazuje křížová klenba a gotické okénko. V 18. století byla přistavěna barokní kostnice a vstupní brána na hřbitov. Celý areál byl dobudován až roku 1849 péčí choltického hraběte Theodora z rodu Thunů. V roce 1783 bylo v Lipolticích zahájeno školní vyučování. Z důvodu neexistence školní budovy se vyučovalo na několika místech. Narůstající počet žáků ( ve 30. letech 19. století přes 200 žáků) vyvolal potřebu výstavby nové školy. Stavba byla zahájena v dubnu 1836 za přítomnosti patrona hraběte Jana z Thunu. Od 1. prosince 1839 se již rozběhlo vyučování v nové budově, která svému účelu slouží dodnes. Lipoltice jsou z východní strany obehnány soustavou několika rybníků (Nečas, Třešňovec a Rohlíček). Mezi přírodní zajímavosti patří alej staletých dubů na hrázi rybníka Nečas. Nedaleko Lipoltic je Lipoltická skála ( 297 m n.m.) z tvrdého křemence, který vystupuje z okolních břidlic. Zelené břidlice se v okolí taky těžily, což dokládají pozůstatky lomu V Dolcích u silnice směrem na Přelouč. Součástmi obce Lipoltice jsou osady Pelechov a Sovoluská Lhota, ve které je známá chatová oblast kolem rybníku Pelíšek. První zmínky o existenci Lhoty jsou z roku 1519,kdy držel Lipoltice a okolní vesnice Václav Žehušický z Nestajova.
