定林寺の創建は不詳。当初は稲野辺寺畑に真言宗の寺院として創設されていました。文明１０年（１４７８）に水谷勝氏が下館領主になり下館城を築城、文明１３年（１４８１）に良室榮欣和尚（結城乗国寺５世住職）を招いて禅宗に改宗開山し、勝氏の法名「定林寺殿玉叟了圓大居士」から寺号を玉叟山定林寺に改められました。 その後、水谷家歴代の菩提寺として庇護され水谷家からは寺領１５０石の寄進や堂宇の造営などが行われ享禄元年（１５２８）に下館城内、寛永７年（１６３０）に下館藩２代藩主水野勝隆の命で現在地に移りました。