我是一个已婚的男人爱上已婚女人我该如何解决

我和我老公结婚二十多年了，之前我们是高中同学后来经同学撮合相恋并结婚的，我觉得我拥有了全世界最好的爱情和婚姻，可是五年后他出轨了，因为当时孩子小，我原谅了他，一句原谅很简单的说出来了，可当时怎样的经历怎样的煎熬只有自己才能体会的到，后来他也和那个女人彻底的分开了，之后我们做起了自己的小生意倒也不错，但是最近两年我又发现了他又和另外一个女人有暧昧关系，看样子他对那个女人的爱也是真心的，但是他就是只承认和那个女人调侃没有实质性的关系，可是他的表现好像很痛苦，总是在无意中维护那个女人，却用冷眼对我甚至于辱骂我，我想离婚算了，可是我真的喜欢我老公的，还有孩子没有成家立业，也怕影响孩子的人生，现在他说他和那个女人了断了，可是我总觉得他心里还是有那个女人的，我认为如果婚姻中我有什么问题老公应该告诉我，我改正，改正不了你可以提出离婚后你再找你的幸福，但是你不应该一只脚踏两只船，只要一天不离婚就是夫妻，就要互相尊重，我也不知道我现在到底该怎么办啊，被背叛的感觉不是每个人都能体会到的