赵岐时在皮氏为县长，闻讯，遂弃官，带着跟他在任的从子赵戬逃走。也就是在这个时候，为避难，他改名为“岐”，岐者，岐山也，赵岐家在京兆，岐山在其境内，改成此名，是为示不忘家乡。
赵岐逃到了北海，在市中卖胡饼以糊口，遇到了一个叫孙嵩的年轻人。孙嵩时年二十余，乃北海名士，有古义士风，发觉赵岐不同寻常，猜测他或许是亡命的罪人，就令从骑置下帷幕，命隔绝行人，对赵岐说道：“我北海孙宾硕也，阖门百口，你可以告诉我实话，我一定不负你，也许可以帮你的忙。”赵岐於是告之实言。孙嵩因便与他定下死友之交，载他返家，让他藏入到了复壁中，——复壁即夹墙，中间是空的，可以藏人或匿物，此是先秦以来即有的建筑机关，豪强大族家中通常设有此类，甚至有把柱子也做成中空的，用之藏人或应对危险。赵岐在复壁中藏了好几年，直到唐衡、唐玹等诸唐尽皆死灭，遇到大赦，他方重见天日。
三府闻后，同时并辟，赵岐接受了司徒胡广的征辟，适逢南匈奴、乌桓、鲜卑反叛扰边，公卿皆举荐赵岐，他乃被拜为并州刺史，却未多久就因第一次党锢而被免官，灵帝继位，他又因第二次党锢被禁锢了十余年，直到黄巾起事，天下大乱，党锢禁解，这才得以复出。中平年间，张温讨击边章、韩遂，孙坚、董卓皆为其部属，赵岐时也在军中，任职比孙坚要高，被张温请辟为车骑将军长史，与袁绥现於荀贞幕府的任职相同，是将军幕府的总管事。
何进表赵岐为敦煌太守，在上任的路上，赵岐被边章等抓获，边章胁迫他，欲以为帅，赵岐诡辞得免，返程途中，半道遇贼，赵岐时已年七十余岁，裸身自救，藏
4 冀州牧迎节以征(2/6)