铁弗部传到刘卫辰手里，本来颇为强盛。可惜遇上了更为强盛的拓跋鲜卑，刘卫辰身死国灭，年仅十一岁的刘勃勃只好四处流亡，过着寄人篱下的日子。
一开始他投奔了驻牧于三城（今陕西延安附近）的薛干部首领太悉伏，后来又去投靠了盘踞于高平（宁夏固原西）的前秦将军没奕干。没奕干对刘勃勃不错，还把女儿许配给他为妻。392年没奕干降于后秦，刘勃勃自然也就成了姚苌、姚兴父子的臣民。
此后的十几年里，史籍中再不见刘勃勃的事迹。这段时期，做为后秦将军、高平公的没奕干东征西讨，常年与西秦、后凉和北魏作战，如果刘勃勃跟在这位岳父身边，势必接受了不少的军事教育和实践。
成年后的刘勃勃身高在两米以上（八尺五寸），膀阔腰圆，不但相貌堂堂，而且聪明辩慧，令秦主姚兴一见之下为之倾心，觉得这是个可以重用的人才，常常与他讨论军国大事，还任命他为安远将军，助没奕干镇守高平。在这里，我们发现刘勃勃的经历与他的前辈刘渊何其相似。作为归顺的异族，两人都靠出众的谈吐和仪表吸引到了最高统治者的注意，也同样招来了旁人的戒备和毁谤。姚兴的弟弟姚邕就认为刘勃勃不可亲近，当他听说姚兴要把三城、朔方一带的杂夷和原刘卫辰部众三万人交给刘勃勃统领时，他几次三番地劝阻。姚兴很是奇怪，问弟弟你何以知其为人？姚邕道：“刘勃勃这个人，对待上级倨傲怠慢，对待下属残忍无恩，贪婪狡猾，不讲仁义，反复无常，毫无忠信。这样的人您过份宠幸，将来恐怕终究会成为心腹大患。”如此可怕的论断，倒还真让姚兴琢磨了些日子。但当时后秦在北方正面对北魏的巨大压力，尤其是柴壁一战，四十多员将领被俘，四万人马全军覆没，姚兴很需要有合适的人选统领河套草原上的游牧部落作为抵御北魏的缓冲地带。刘勃勃既是铁弗部后人，又与北魏有血海深仇，姚兴实在想不到还有比他更合适的人了。所以，尽管有姚邕的告诫之语，他还是冒险让刘勃勃担任了安北将军、五原公，统三交五部鲜卑及杂虏二万余落，镇守朔方。
