我想问问，之前我和女方离婚了，生有一男一女，女的判给女方男小的判给我，前几个月女方把小孩放回我家里疫情期间到现今，现在女方不想要小孩想和别人一起再婚，如果我想要回小孩女方不给赡养费，除非我不要赡养费，请问我现在可以起诉女方吗？