雁门郡很空旷，领土虽广，但绝大多数都是荒原，这也是雁门郡不被历任并州刺史重视的原因。

再加上因为异族的威胁，雁门郡民风向来彪悍，历史上甚至还发生过数次百姓聚集强攻雁门城的荒唐事。

种种因素下，在中原一些诸侯、领主的眼中，雁门郡跟大漠并无太大区别，甚至差点被划分为蛮夷