男,32岁,突然接到一女的电话，说我老婆和她老公搞外遇。那个男的算是共同的朋友。回来问老婆了解情况，老婆说只是微信聊天，原因是那个时间段我对她关心不够，她需要蓝颜知己。对她关心。但是对方老婆咬定是出轨了，但没有实质的证据。和老婆谈心后，老婆是非常肯定说没有越线。以后也不会联系。但是我总觉得心里还是无法相信。始终有个节。而且现在对方老婆天天闹，已经刚刚离婚了，离了还是继续找我老婆闹，或者是到处乱说，乱发。请问老师这情况该怎么处理？