非浸潤性乳がんで乳房全切除しましたがホルモン療法をすることになりました。非浸潤がんなのに必要でしょうか？

はじめまして。昨年末、右側乳がんと診断され全摘手術を受けました。
結果は非浸潤がんだったのですが、こちらの病院の方針でタモキシフェンを服用することになりました。
飲んで一週間で酷い抑うつ状態となり堪らず休薬させてもらいました。落ち込みというレベルではなく、発狂するという感じでした。
その状態が完全に改善するまで二週間かかった為、今後もタモキシフェンの再開は難しいと主治医に相談した所「少ない確率ではあるが、実は浸潤している可能性もある。グレードが3である事も心配。もし浸潤していて無治療だと次は他臓器への転移となる」と言われ、ショックを受けて帰りました。
再発ではなく転移という言葉が気にかかっております。
私はホルモン治療を続けた方が良いのでしょうか。
タモキシフェン以外に選択が無いのであれば大変厳しいと感じていますが、後悔もしたくなく、悩んでおります。ご教授よろしくお願い致します