次年，再次出征匈奴，其外甥霍去病嶄露頭角，以八百精騎兵，在大漠奔馳數百里，斬敵二千余人，擊殺匈奴單于祖父，俘虜單于的國相及叔叔，一戰封為冠軍侯。衛青也得以和霍去病舅甥聯手，相得益彰。
此后數年，匈奴進犯減少。而漢武帝也想通過數年準備，以衛青、霍去病合力，給予匈奴致命一擊，于三年后發動了漠北之戰。令衛青與霍去病各率領五萬騎兵，步兵和運輸物資的軍隊十萬余，兵分兩路，橫跨大漠，出擊匈奴。
原定由霍去病對抗匈奴單于主力，衛青對抗左賢王。可沒想到，衛青大軍剛剛出塞一千多里，就與匈奴單于主力遭遇。危急時候，衛青不慌不忙，命前將軍李廣等將從右翼包抄。自已從正面對抗單于主力。
此時，恰巧太陽將落，刮起大風，飛沙走石，兩軍都無法看見對方，于是一場混戰開始，雙方殺傷人數大致相同。而此時衛青捕到匈奴俘虜，說匈奴單于在天未黑時已經逃離而去。于是大聲呼喊匈奴主帥逃亡，并派出輕騎兵追擊。匈奴兵士四散奔逃，一潰千里。
此役俘獲和斬殺敵兵一萬九千余人，而且兵鋒直達了窴顏山趙信城，獲得匈奴屯積糧食無數。衛青讓漢軍留住一日，把城中剩余的糧食全部燒掉才返回。
此次漠北之戰，擊潰了匈奴在漠南的主力，從此“匈奴遂遠遁，漠南無王庭”，開始逐漸向西北遷徙，十幾年內再無南下之力。漢武帝也加封衛青為大司馬，以代太尉之職，管理日常軍事行政事務。
照理說，衛青在此時之功績，與周亞夫差不多，但是與周亞夫不同的是。衛青行事非常低調，即便是位極人臣，也始終保持謙恭有度，而且敬重賢才，向漢武帝推薦過主父偃和咸宣，后來成為漢武帝倚重之臣。
而且，衛青不光做得好，心胸也確實寬闊。
隨著其地位的日益尊重，漢武帝希望群臣見衛青的時候，都要行跪拜之禮。而一個大臣汲黯，見了衛青卻依舊行作揖之禮。可衛青不但不生氣，反而更加尊重汲黯，經常向汲黯請教國家和朝中的疑難之事，看待汲黯勝過平素所結交的很多人。
衛青不光低調內斂，還宅心仁厚。
掃蕩漠南時，他剛剛升任大將軍不久，其部下蘇建，率領三千騎兵意外遭遇了大單于上萬主力，而前將軍趙信又臨陣倒戈，苦戰一天之后，蘇建只身逃回。
這時候，軍中對于是否殺蘇建以立大將軍威的問題，產生了分歧。有人說兵法講“小敵之堅，大敵之擒也”，蘇建以少敵多，苦戰到全軍覆沒也沒有二心，不該被殺。另外的人則說衛青就任大將軍就任以來，還未殺過副將，殺蘇建而“立威”正是時候。
輪到衛青說話時，他否決了“殺將立威”的話，表示以天子恩寵而任命為大將軍，不愁沒有威望。不過，雖然我有生殺大權，卻不敢擅專，還是把這事交給天子定奪。于是，讓人用囚車押回京城。
其實，當場不殺，這就相當于是放了蘇建。因為漢代有以錢孰命的法律，而以囚車交給皇帝處理，既放了蘇建一條生路，又尊重了漢武帝的最高裁決。
從這件事情，就能夠非常清晰的看出來，衛青貴為大將軍之后，并不專權，也不得意忘形，時時刻刻想著的，是尊重皇帝的無上權力。這樣對“功高震主”的主動規避，結果一定是非常有效的。
后來的事實也證明了這一點，到了京城之后，漢武帝果然放了蘇建贖為庶人。在此這賓，也才有了蘇建的兒子蘇武，在塞外被扣留十幾年仍不變節歸漢，可見其志堅。衛青與漢武帝聯手赦免蘇建，也成為后人津津樂道的話題。
因為衛青本來為人就親和力強，而赦了蘇建之后，跟過衛青的部將，包括一些出使過長安的謁者都說：“大將軍材干絕人，眾將皆樂為大將軍所用”，甚至有“淮南第一劍客”之稱的游俠雷被，都主動請求跟隨衛青打匈奴，足見衛青的人望之高。
而對于人們經常議論的衛青與外甥霍去病之間的關系，衛青也處理得很好。漠北大戰之后，受“無功不得封侯”的影響，追求軍功的部下紛紛離開不再出征的衛青，轉投到仍然征戰在第一線的霍去病門下，于是經常得到官爵。
于是有人散步言論，說他們舅甥關系不好。可衛青并不以為然，根本不管這些流言蜚語。該對霍去病怎么樣，就怎么樣。
后來發生的一系列事情，也證明正是因為衛青的豁達，霍去病與其關系并非傳說中的不睦，而是親厚得很！
