В 1421–1842 гг. Алседжяй принадлежал жямайтийским епископам, с 1465 г. стал местом их постоянной резиденции. Первый костел построен в XIV в. Однако он, как и храм, возведенный в XVII в., до наших дней не сохранился.

Современный костел Непорочного Зачатия Пресвятой Девы Марии датируется 1793 г., одновременно на месте старого храма построили часовню.

Костел базиликального типа, его деревянное здание имеет характерную для Жямайтии пирамидальную форму. Кровля центрального нефа массивная, двускатная, над апсидой – трехскатная. Над фронтоном – башенка из двух закругленных, обшитых жестью элементов с крестом. Центральный алтарь и два боковых в апсиде – деревянные, барочные по форме, с витыми колоннами. Культурную ценность представляют резные изделия и семь алтарей, украшенных мольбертной живописью.

В конце XVIII в. возле костела построили деревянную колокольню. В середине XIX в. возвели часовню прямоугольного плана с трехстенной апсидой, ориентированной на восток. Вход располагается не на переднем, как принято, а на северном фасаде. Размер, план и объем молельни типичны для жямайтийских часовен, однако ее архитектурные формы и декор отличаются особой скромностью.