離婚した際に子供の親権を取ったんだけど、子供が忘れられないという元妻から「引き取りたい」との申し出があって困ってる。子供はもう私の再婚相手に懐いてるし断りたいのですが。