到今年年初的时候，韦坚和皇甫惟明案发，牵扯到太子身上，导致太子连正妃韦氏都休了，东宫之中的压抑气氛可想而知。然而柳绩却不懂收敛，依旧吆五喝六呼朋唤友的在京中招摇，这可急坏了老丈人杜有邻。于是杜有邻私下里跟李亨提出自己的担忧，生恐柳绩会闹出事情来，于是便一了百了想了办法，将柳绩弄出京城在外为官。
恰好北海太守李邕回京拜见太子，而李邕和柳绩又是同一类喜欢招摇之人，颇有些意气相投之意，于是李邕建议将柳绩弄到北海郡自己的属下当二把手。于是乎柳绩便心不甘情不愿的离开了长安，来到远在山东的北海郡当了北海郡别驾的官儿。一开始柳绩是很不开心的，在哪儿也比不了在京城逍遥自在，自己的官职和身份在京城也是金字招牌，走到哪儿都是顺风顺水，而来到这北海郡穷乡僻壤之地，就算品级还算是高升了一品，但这种落差是极大的。
好在李邕待他如兄弟，两人之间倒也相处愉快，不久之后，柳绩发现自己爱上了北海这快破地方了，因为这里有很多不同于京城的乐趣。更重要的是，在北海郡，柳绩觉得比在京城还要风光。整个北海郡他柳绩可以畅通无阻，人人见了叫爷，那种感觉就像成了当地的土皇帝一般。