目前离婚20多天，目前孩子还不知道这个事。他每周末接孩子玩一下午，然后送回来。孩子很想他，总问他什么时候不出差回家待一天。这周孩子又提了。
他早上说能不能周末接走，去爷爷奶奶家他们住一晚。如果我不同意能不能周末给孩子哄睡后在走，从离婚没让他进家门。
接走去他们家住，我比较膈应他不知道跟谁睡过。
我该怎么办？