奚斤，代人也，世典马牧。父箪，有宠于昭成皇帝。时国有良马曰“騧骝”，一夜忽失，求之不得。后知南部大人刘库仁所盗，养于窟室。箪闻而驰往取马，库仁以国甥恃宠，惭而逆击箪。箪捽其发落，伤其一乳。及苻坚使库仁与卫辰分领国部，箪惧，将家窜于民间。库仁求之急，箪遂西奔卫辰。及太祖灭卫辰，箪晚乃得归，故名位后于旧臣。斤机敏，有识度。登国初，与长孙肥等俱统禁兵。后以斤为侍郎，亲近左右。从破慕容宝于参合。皇始初，从征中原，以斤为征东长史，拜越骑校尉，典宿卫禁旅。车驾还京师，博陵、勃海、章武诸郡，群盗并起，所在屯聚，拒害长吏。斤与略阳公元遵等率山东诸军讨平之。从征高车诸部，大破之。又破库狄、宥连部，徙其别部诸落于塞南。又进击侯莫陈部，俘虏获杂畜十余万，至大峨谷，置戍而还。迁都水使者，出为晋兵将军，幽州刺史，赐爵山阳侯。

太宗即位，为郑兵将军，循行州郡，问民疾苦。章武民刘牙聚党为乱，斤讨平之。诏以斤世忠孝，赠其父箪为长宁子。太宗幸云中，斤留守京师。昌黎王慕容伯兒收合轻侠失志之徒李沈等三百余人谋反，斤闻而召伯兒入天文殿东庑下，穷问款引，悉收其党诛之。诏与南平公长孙嵩等俱坐朝堂，录决囚徒。太宗大阅于东郊，治兵讲武，以斤行左丞相，大搜于石会山。车驾西巡，诏斤为先驱，讨越勒部于鹿那山，大破之，获马五万匹，牛羊二十万头，徙二万余家而还。又诏斤与长孙嵩等八人，坐止车门右，听理万机。蠕蠕犯塞，令斤等追之。事具《蠕蠕传》。拜天部大人，进爵为公，命斤出入乘