面对男友的漂亮前妻 我该不该退出

我也曾经问过他可不可能复婚，他倒是告诉我不可能了，人还是要有志气，不可能她想回来我就要她回来呀，当初是她先提出离婚的，现在有我他就不可能复婚的，但是我还是很担心，可能是我太不自信了，主要是他的前妻很优秀，人又漂亮，而且现在也没有结婚。

我是一个离了婚带着孩子的女人，现在和一个也是离了婚带着孩子的男人交往了半年。

我觉得我们还是很适合对方，我很爱他，但是最近我的心里一直很纠结，因为他的前妻会每个月回家看他们的孩子，我只要听说他前妻要回来，我就很不高兴，心情会很不好，因为我很怕他们会复婚，因为他的前妻很优秀，我肯定比不上她，而且他们家的人对他的前妻还是很好的，觉得她很不错，他们离婚的主要原因是他的前妻红杏出墙，才要和他离婚的。

我真的不知道我该不该退出，但是我真的很爱他，不想离开他，我也曾经问过他可不可能复婚，他倒是告诉我不可能了，人还是要有志气，不可能她想回来我就要她回来呀，当初是她先提出离婚的，现在有我他就不可能复婚的……但是我还是很担心，可能是我太不自信了，主要是他的前妻很优秀，人又漂亮，而且现在也没有结婚，你说我该怎么办？

最近我真的很烦，他们有共同的孩子，而我们不可能再生共同的孩子了，而且我们要是结合了，我们这种组合家庭相处肯定很困难，我该退出吗？