物：这里指人；议：议论。担心遭到众人的非议。