直行车辆在直行车道上等红灯，需要让右转车辆吗？

事情是这样的，我骑的是摩托车，停在自己的非机动/摩托车道里等直行红灯，这条摩托车道也是机动车右转的辅道，信号灯只有直行和左转两个。
现在问题来了，后面来了一辆右转车，进入摩托车道里正好把左右距离都占满了，后面的摩托也上不来，他就使劲长按喇叭叫我让开，让他右转，可是我已经在停止线上等红灯了，我一不小心就没让，他就下车骂我，不懂交规，没素质，没看见路牌上写着右转车辆可进入辅道吗？
大家说我这该让啊还是不该让啊？记得交规上没有直行让右转的规定吧，况且我还是在自己的车道里等红灯。