五台山太平兴国寺是杨五郎出家的寺庙，并且后来成为此寺的第二任主持，他的师傅睿见方丈。相传，宋太宗游五台山，由杨氏父子保驾护送，宋太宗到太平兴国寺礼佛，杨五郎结识睿见。由于皇上之行宫距太平兴国寺很近。所以，杨五郎便成了太平兴国寺的常客。通过几次接触，杨五郎很钦佩睿见的渊博才学，睿见也很喜欢杨五郎的性格，两人相投。在没来五台山之前，杨五郎连想都没想过，到五台山之后，虽是“近朱者赤，近墨者黑。”但他还是没有足够的勇气步入佛门。睿见看见杨五郎已经接近佛门，只要他在战场上失意，就一定走这条路。临别之时，杨五郎前来辞行，睿见送给他一个包裹，并叮嘱说这个包裹平时不要打开，当你遇到险情的时候再打开，它会帮助你摆脱困境。 
     由山西大同市南下50公里，便是远近闻名的古战场金沙滩，也是宋辽的战场。北宋名将杨业父子在金沙滩与辽兵作战中，由于潘仁美有意陷害，杨家大败，七郎八虎死了四个，被俘两个。杨五郎突围到一片树林里，前去无路，后有追兵，在这千钧一发之际，想起睿见送给他的那个包裹，他急忙打开，原来是一顶和尚帽和一件黑色的袈裟。他当机立断，头戴和尚帽，身穿黑袈裟，从树林里面大摇大摆的走出来，辽兵见他是个和尚，没有理睬他，就这样杨五郎才免于被俘。 杨五郎愤恨奸臣当道，忠良惨遭迫害，便弃甲出家，至五台山太平兴国寺，这便是杨五郎出家的缘由。
   但是,1971年，林彪的同党为了给“副统帅”修建行宫，竟不顾当地僧俗的反对，用大炮炸毁了太平兴国寺，当时升起来的浓烟里竟出现了一个怒目圆睁的小孩形象，是中台的孺童文殊，被一个军官拍下来，现今放在显通寺的藏经殿内。行宫还未竣工，林彪便飞机失事，所以他从未住过，后人有的便说，这是文殊菩萨对他的惩罚。说到林彪，便不由想起毛主席，蒋介石，毛主席东渡黄河去西柏坡，曾路居塔院寺，据当地老百姓讲，他当时曾在此处抽过一签，蒋介石来五台山也抽过一签，后来全部应验，蒋介石说五台山的签真灵。五郎庙炸毁之后，塑像便挪到了现在的集福寺。