洪武元年（1368年）闰七月，徐达、常遇春率马步舟师由临清沿运河北上，连下德州、通州。元顺帝携后妃、太子等逃奔上都开平（在今内蒙古正蓝旗东）。八月二日，徐达、常遇春一举攻占大都，改为北平府。稍事休整即又挥军西进，攻取山西。与精锐的扩廓帖木儿军进行了艰苦的搏战，平定山西。洪武二年三月，西征军进攻陕西，元将李思齐由凤翔奔临洮，力竭投降。元顺帝乘明军主力长驱秦晋之机，命丞相也速率军向北平反扑，兵锋已抵通州。常遇春又奉命与李文忠率步卒八万、骑士一万驰救北平，元军闻讯即向北逃奔，常遇春率军追奔千里，大获全胜。为了覆其巢穴，最终解除元军对北平的威胁，常遇春又率军径取元上都开平，顺帝逃到应昌府（又称鲁王城，虎城，故址在今内蒙古克什克腾旗西北达里诺尔西）。常遇春夺取开平，全歼留守元军，缴获车万辆、马三万匹、牛五万头。
病卒柳河川
洪武二年（1369年）七月七日（8月9日），常遇春自开平率师南归，行至柳河川（今河北龙关县西），得暴病卒于军中，年仅四十岁。朱元璋闻丧大为震悼，赐葬钟山之下，并亲自出奠。封子常茂为郑国公，岁禄二千石。常茂隶宋国公冯胜北征纳哈出，不奉约束，被削爵，安置在广西龙州；又别封次子常升为开国公。建文末，以抗靖难师安置云南临安（今云南建水），忧死。
可惜，常遇春只活到40岁，就病死于柳河川。一生为将未曾败北。自言能将十万军横行天下，军中有“常十万”之称，人们美称他为“天下奇男子”。死后，被追封为“开平王”，故六泉口又有“开平寨”之称。当地村民为纪念常遇春智勇过人，还在大古岭下的在百丈潭侧建庙祭祀，当时称将军庙，庙址所在村落因此得名将军村。该庙规模壮观，翘檐飞角，庙内塑有常将军全身像。抗日战争中庙宇为日军焚毁，但村民仍保留“拜将军年”的旧俗。
人物评价
总评
常遇春对朱元璋一直忠心耿耿，敢于直言，效命疆场，尽瘁而终。朱元璋对常遇春很爱重，认为常遇春的功勋“虽古名将，未有过之”。
朱元璋对常遇春“颁赏赐劳”，特意表彰他“勤劳于外，南平诸郡，兵不失律，民无所扰”的功劳。常遇春对答颇为得体，他说，这是“皇上成算，所至辄克，非臣所能”。
朱元璋追封常遇春为翊运推诚宣德靖远功臣、开府仪同三司、上柱国、太保、中书右丞相，追封开平王，谥曰忠武。配享太庙。朱元璋还赋诗：“朕有千行生铁汁，平生不为儿女泣。忽闻昨日常公薨，泪洒乾坤草木湿。”此后朱元璋令宫廷画师为遇春公绘制身穿龙袍的全身像。
常遇春逝世后，中国很多地方怀念他的功绩为他建祠祭祀。清乾隆十六年（公元1720年）乾隆皇帝亲笔御提“勇动风云”四字，颁诏常遇春家乡建开平王庙，三层大殿，巍峨壮观。于乾隆十七年七月二十八日由尹继善到怀远常遇春祠堂安位主祭。其奉旨题联一副：“将十万众之威名，常诵都人仕女；居七八分之功业，永留大地河山。”
历代评价
朱元璋：当百万之众勇敢先登，摧锋陷阵，所向披靡，莫如副将军遇春信矣哉。
焦竑：明兴猛将云从，数倍云台、凌烟，而六王最著，其以骁勇称者莫如常开平，次则傅颍国耳。
尹守衡：当时持重善将将无如中山王，至暗鸣跳汤独开平王。
谈迁：夫喑呜跳荡，百夫勇耳，彼岂知有所谓大将者，夫封鄂而谥忠武，唐之尉迟氏宋之岳氏并开平而三，岳氏之才则吾开平伯仲哉。
万斯同：遇春沉鸷果敢，出则摧锋，入则殿后，未尝败北。
谷应泰：刚毅多智勇，膂力绝人。
张廷玉：开平摧锋陷阵，所向必克，其智勇不在中山下，而公忠谦逊，善持其功名，永为元勋之冠。身衣日月剖符锡土若王者，可谓极盛矣！
