Konwent bez ksieni
Klasztor pod wezwaniem Matki Bożej i św. Urszuli ufundował najprawdopodobniej między 1245 i 1267 r. opat cystersów z Oliwy. Aż do czasu przekazania klasztoru benedyktynom (1589) fundacja tak bardzo była zależna od Oliwy, że konwent żarnowiecki nie miał własnej ksieni, tylko przeoryszę mianowaną przez opata oliwskiego.
Wiele też przywilejów średniowiecznych było udzielonych wspólnie dla obu klasztorów. Konwent żarnowiecki liczył około 30 cysterek; w 1433 r - nawet 34 mniszki różnej narodowości. W oliwskiej księdze zmarłych, gdzie odnotowano także cysterki żarnowieckie, widnieją imiona zarówno ogólnochrześcijańskie, słowiańskie, jak i germańskie, z przewagą tych ostatnich. W wieku XV do klasztoru w Żarnowcu należało: 9 wsi, 3 przysiółki, 2 jeziora, i folwark, który w XVI w. liczył 200 ha uprawianej ziemi. Zakonnice prowadziły szkołę dla dziewcząt z rodzin szlacheckich i szpital. Dziełem cysterek żarnowieckich była budowa fary w Pucku (1385); parafią pucką administrowały do reformacji. Około połowy XVIw. upadła karność zakonna i klasztor się wyludnił (w 1548 było 10 mniszek, a w 1585 tylko 5). Poza tym wskutek wypadków politycznych i malejącej gospodarności klasztor dotknęła bieda. Wówczas (1589) biskup włocławski Hieronim Rozrażewski wyjął klasztor z pod władzy cystersów oliwskich i przekazał benedyktynom kongregacji chełmińskiej. Z ostatnich trzech cysterek jedna opuściła zakon, a dwie przeniesiono do innego klasztoru.
Początki budowy jednonawowego kościoła sięgają lat siedemdziesiątych XIII w. i trwały wiele dziesięcioleci, bowiem ukończono go dopiero w I poł. XIV stulecia. Niedługo później uległ on zniszczeniu (ok. 1389 r.) co spowodowało konieczność odbudowy i ponownej konsekracji. W jej wyniku do świątyni dostawiono kwadratową wieżę oraz wykonano nowe sklepienia. Także pod koniec XIV stulecia dobudowano do południowej ściany kruchtę. Z początku XV w. (1411 r.) mamy informację o chórze cysterek, co wskazywałoby na wydzielenie przed początkiem XV stulecia w kościele specjalnego, osobnego, miejsca przeznaczonego na modlitwę chórową żarnowieckiego konwentu mniszek.
Kasata cysterek z 1589 r. i przybycie do Żarnowca benedyktynek spowodowały w epoce nowożytnej przebudowę wnętrza świątyni. Tak więc obecny kształt kościoła nie jest z okresu funkcjonowania mniszek cysterskich.
Wyposażenie kościoła jest głównie XVII i XVIII - wieczne : ołtarz główny, ołtarze boczne, stalle, ambona i chrzcielnica. Szczególnie cenna jest gotycka pieta. W skarbcu zgromadzono pięknie ozdobione księgi - graduały i antyfonarze oraz szaty liturgiczne zdobione sławnymi haftami żarnowieckich mniszek.
Z 1409 roku pochodzi plebania, zwana opactwem, w której znajdowały się pokoje dla gości wizytujących klasztor. Dziś pełni rolę proboszczówki.
Rozkwit klasztoru
W XVII wieku nastąpił rozkwit klasztoru. Benedyktynki prowadziły szkołę dla panien z dobrych domów, aż do kasaty klasztoru w 1848roku. Zbudowany tu w XVIIw. dwór; przebudowano w XIX w , stanowi dziś rezydencję ksieni. XVIII-wieczny spichlerz pełnił pierwotnie funkcję browaru klasztornego.
Po wojnie, w 1945 roku do Żarnowca przybyły benedyktynki z Wilna, gdzie funkcjonują do dziś.
Z okazji odpustu Św. Anny 26 lipca, na uroczyste nabożeństwo w klasztorze żarnowieckim, udają się pielgrzymi przez Jezioro Żarnowieckie. Wyruszają łodziami z Nadola do przystani w Lubkowie, by stamtąd dalej pieszo udać się do kościoła w Żarnowcu. Po zakończeniu modlitw wracają tą samą drogą, by zakończyć dzień zabawą taneczną.