永禄元年に「稲生猪衛門」開基。
「笑山慧誾（ギン）大和尚」の開山により建立。
元和元年（1615年）徳川家康が大阪城を落城したとき、豊臣方の軍船が海上に脱出したのを稲生氏が捕らえ師崎に廻航させ、この船中に多くの女中にかしずかれた姫が乗っていたので身柄を延命寺に預けられたが悲しくも一夜にて自害した。
境内には供養塔、またその時船に積まれていた屏風は保管されている。
また明治から昭和にかけて、小栗風葉、広津和郎、河東碧悟桐、中村善策など有名な作家や画家が訪れました。