自幼过继给刘家良、刘家荣之父刘湛，由于刘湛是洪拳名家林世荣（师承黄飞鸿）的弟子，刘家辉在8岁时拜刘湛为师（但是实际上大多是受刘家良的教导），开始接受严格的正统武术训练。1971年，中学毕业后，刘家辉在日本公司当办公室助理，之后在朋友介绍下到连卡佛任月薪五百元的会计员，期间他继续到武馆做助教，帮忙教导师弟妹。他的平凡白领生活，一做便两年，直到一天亦师亦友的刘家良，邀请他拍摄执导的电影，出于对对方的尊重，他二话不说便答应了。
1973年，刘家辉首部担正由刘家良自资的动作电影《杀出重围》而进入电影圈，虽然主演是李琳琳、秦沛等明星，但票房不佳，反响平平。后来，随刘家良到台湾并被介绍进入张彻导演在台湾开设的邵氏的姐妹公司‘’长弓电影公司‘’，与公司签约三年并担任龙虎武师、武术指导（同期的有梁家仁、陆剑明）。由于张彻有姜大卫、狄龙等人，他一直没有机会演出重要的角色。
1976年，刘家辉与长弓电影三年约满，遂回到香港，并在由义兄刘家良执导的《陆阿采与黄飞鸿》中第二次担任主角，不过这也没有让他获得成功。
1978年，他与罗烈、汪禹及徐少强联袂主演动作电影《少林三十六房》在香港上映后，剧中光头的三德大师形象给观众留下深刻印象。这部电影不但是该年香港的十大卖座片，也在国外获得不错的回响，甚至在日本有人为刘家辉成立影友会。而刘家辉也因为这部戏被外媒称为“东方尤尔・伯连纳”。
1980年，主演动作电影《少林36房》的续集《少林搭棚大师》，剧中刘家辉不再扮三德和尚，而是以机灵幽默示人，出演一个不学无术、靠骗为生的混混儿周仁杰。
1985年，与太保、曹查理、徐少强联袂主演喜剧电影《妙探I宝》。
1987年，功夫片衰落，邵氏公司也宣布停产不再拍摄电影，刘家辉发展开始不顺，只在电影里演配角或反派。于是他决定转型到台湾电视圈发展，在华视以拍古装片为主。
1988年，刘家辉返港发展，与徐少强自组电影公司“吸引力”，拍了四、五部作品，最终因没有发展前景而结束合作。
1989年，刘家辉受邀加盟TVB，他也由大银幕红星瞬间变为小银幕艺员，自此他便专心在电视圈发展。
1990年，刘家辉接拍古装武侠剧《螳螂小子》，剧中与同是练武之人的罗莽上演多场打戏。
1993年，参演由周星驰、李力持联合执导的动作喜剧片《唐伯虎点秋香》，在剧中饰演夺命书生并与周星驰饰演的唐伯虎对打。
1994年，与刘德华、郑少秋、李嘉欣联袂主演功夫电影《醉拳3》，饰演剧中大反派李督军。
1999年，主演由香港电视广播有限公司出品的古装神话剧《人龙传说》，在剧中饰演豪爽傲气的泾河龙王。
2003年，刘家辉受导演昆汀・塔伦蒂诺之邀拍摄好莱坞动作电影《杀死比尔1》，在片中饰演疯狂88的杀手强尼莫。
2004年，电影《杀死比尔2》中则饰演武林高手白眉，向乌玛・瑟曼饰演的女主角传授功夫。
2005年，主演电视剧《我师傅是黄飞鸿》，在剧中大演反派莫桂兰之父莫天龙。
2007年10月12日，刘家辉参加在深圳宝安体育馆举行的中国功夫・全球盛典并获得最佳动作男演员。
2009年，参演由李国立执导的古装玄幻电视剧《仙剑奇侠传三》，在剧中饰演邪剑仙。
2010年，主演古装动作剧《少林寺传奇3》，在剧中将饰演及时雨这一角色。