男,40岁,情人小我三岁，原先他对我很好。他去另一城市学习，与原情人好上了，先对我还好，可慢慢的不太理我，信息也不及时回复。我提出分手，可他说学习要结束了，回来就不和她联系，后我们又合好了，没过几天发信息不回，打电话他，他又很不耐烦，说在准备考试，很重要，就把我微信删了。他考试那天发短信，他很高兴，又加我微信，说是她老婆删的。过了两天，我早上发信息他，到中午都没回，我打电话过去讲他，他说没看到，现在忙，等会再聊。他下班打电话来刚好我老公在，我老公跟我吵架，还打电话威胁他。我们都没承认，现在我老公对我是比从前更好，可时时刻刻在提这个事骂我，还打电话找他领导，他就是不赶出来个面，大家解释下。请问我该怎么办？