吧友们，本人农村要自建房，已经打好柱桩，邻居说影响他家房屋，后来我也同意靠近他家打好的柱桩不建车库，但是他给了个很霸道的协议，任何责任由我担，以后他家要重建或者改建，我们都不能干涉，写进协议让我们无条件签字配合，就这一条款我们不答应，所以协议没签，那么房子也不能建，怎么破