同じ職場の女性と不倫した夫に別居を希望された。子供二人が「4人で暮らしたい」と泣くのでやり直したいけど夫にその意思が無いなら離婚に応じるべき?