שער יפו, הסמוך למצודת העיר