后来按照当时中原王朝管理少数民族的惯例，刘渊到朝廷里当了侍子。名义上是匈奴一方的人质，实际上相当于匈奴驻京办主任。刘渊在这段时间里，充分发挥了自己的贵族身份和人格魅力，在朝廷里很是交了不少朋友。以致这些朋友经常在皇帝的面前夸赞刘渊。晋武帝有一次召见刘渊后，很高兴的对大臣王济说：“刘元海的仪容谈吐，就算是由余、金日磾也比不了啊！”由余是春秋时的戎族人，后来帮助秦穆公成就了霸业；金日磾则是汉武帝时的匈奴休屠王王子，后来成为武帝去世前的托孤之臣，和霍光一起辅政。两人都是身为异族却有功于华夏的精英人物。王济是刘渊的朋友，听皇帝这么说，自然要趁机美言一番：“刘元海的仪容谈吐，确如陛下所说，但此人乃文武全才，比由余和金日磾可要强多啦！陛下如果将东南之事交由刘渊负责，则东吴何愁不平？（当时吴国尚未被灭）”晋武帝闻言点头称是。
