教书，挣些钱粮。他却无亲无故，只能依“乞丐人法”，由官厅每日支二升米、二十文钱。每天去领钱米时，真如乞丐一般。连小吏见了他，都能任意呼喝。他虽然自幼家境清寒，却哪里受过这等困辱？几回想悬梁自尽，将腰带拴到房梁上，踩着凳子，头要伸进去时，却终不甘心，只能流泪下来。他不愿自此消沉，不停以历代那些受贬名臣自励，没有钱买书，每日便去书肆中站着借读。寄情于经书史传，令自己忘却周遭。
两年后，朝廷大赦，他紧忙欢喜收拾那些破旧衣物，准备动身回京。衙前一个书吏来到他门前，并不进来，手里拿了一纸官文。他忙站直身子，恭听那赦令。那书吏高声念道：“罪臣卫参，心怀怨望，未知悔改。再加贬谪，编管梧州……”他听后，脊梁骨咯吱吱抖起来，像是要抖散一般，身子顿时软倒。
递解途中，他才听说，蔡京已被召回京城，再任宰相。自己被再贬，恐怕是由于当年杭州那一辱。他悔恨之极，却已无可如何。
梧州远在广西，境况比虔州更劣。到了那里，连言语都有些听不懂。他又不知应变，触怒了衙吏。那些衙吏动辄将他锁在房中，连着几天不许他出门。不但没有月钱，连饭食也时常断缺，他却只能苦挨。
挨了三年，挨得他脸枯身瘠、状同饿鬼。当年那慨然之气，早已消磨一尽，胸中只剩一点儿苟生歹活之念。幸而又遇大赦，蔡京也恐怕早已忘了他这蝼蚁之辈，他终于接到赦令，继而被除授为湖南衡阳州学教授。这时卫参已三十一岁。