再次复职
1937年8月，正是罗科索夫斯基大受重用之时，他突然遭到逮捕——有人指控他与波兰和日本的谍报机关有瓜葛——被判处死刑。由于老上司铁木辛哥元帅出面干预，罗科索夫斯基在被执行死刑时，当时旁边的两个同时被处决的死刑犯都被处决了，唯独罗科索夫斯基被打了一颗空包弹，故此性命被保了下来。最终经过两年半的审查，查明所控不实，铁木辛哥以大战在急，军队缺乏指挥人才为由向斯大林提出申请，罗科索夫斯基官复原职，又回到骑兵第5军。这时第二次世界大战已经爆发。苏联正处于希特勒入侵的前夕。
1940年5月，苏军对军衔制进行了改革，罗科索夫斯基被授予少将军衔。
1940年下半年，苏联开始组建机械化部队。基辅军区建立了几个机械化军。11月，罗科索夫斯基调离了骑兵部队，担任了基辅军区机械化第9军军长。
1941年6月22日凌晨，希特勒对苏联发动了突然袭击，苏德战争爆发。德军越过边界，分三路长驱直入。苏军作战准备不足，仓促应战。无法阻止德军的推进，全面败退。
二战时期
罗科索夫斯基所在的西方面军机械化第9军在西南基辅方向上同德军展开了激烈的战斗。在战争头几周最艰难的日子里，罗科索夫斯基表现出苏军指挥员的大无畏精神，荣获了他的第4枚红旗勋章。
1941年7月10日，德“中央”集团军群向通往莫斯科的必经之地斯摩陵斯克发起进攻(参见斯摩棱斯克战役)。扼守地区的苏军西方面军处境险恶。第16、第20集团军和第19集团军一部陷入德军合围。苏军最高统帅部决定组建几个集团军级的军群，从别雷—亚尔采沃—罗斯拉夫利向斯摩棱斯克方向实施反突击，以扭转斯摩棱斯克战局。
1941年7月14日，罗科索夫斯基奉命将机械化第9军交由副手指挥，自己飞往莫斯科，受领组建新军军群的任务。他只在莫斯科停留了几个小时。大本营告诉他，要在斯摩棱斯克方向形成一片“真空”，军群的任务是不让德军向维亚济马方向推进。他的军群将由几个师组成。总参谋部派给他几名参谋和几名士兵。这就是他的所部的全部班底。总参谋部指示他说：“从莫斯科到亚尔采天，沿途你所遇到的部队，统由你收编。具体指示到西方方面军司令部受领。”
当天傍晚，罗科索夫斯基带领他的司令部抵达位于维亚济马以北的卡斯纳的西方方面军指挥部。方面军司令员铁木辛哥元帅指示他在亚尔采沃地域采取军事行动。最后铁木辛哥说：“预备队一到，就给你几个师，眼下你只能收编一些部队和兵团。”
1941年7月17日夜间，罗科索夫斯基乘车前往亚尔采沃地域，一路收编了一些被打散或撤下的队伍。新军群在几天内组建起来，并立即投入战斗。
1941年7月22日，苏军5个作战军群发起反击。战斗异常激烈。西方面军司令员铁木辛哥在给最高统帅部的报告中说：“……罗科索夫斯基今天从两翼和后方进行迂回，但遭到德军的反冲击，被迫撤至沃皮河东岸，右翼在亚尔采沃附近阻击德军桥头堡步兵第38师……”1941年7月24日，铁木辛哥报告说：“在亚尔采沃地域双方血战三天，伤亡惨重………”1941年7月27日，铁木辛哥的报告说：“亚尔采沃仍被罗科索夫斯基坚守着……”
苏军的反突击未能取得胜利，但阻滞了德军在莫斯科方向上的进攻，并支援了第16、第20集团军的突围。8月初，这两个集团军突出德军的重围。第16集团军并入罗科索夫斯基的部队，仍用第16集团军的番号，罗科索夫斯基任司令员，下辖6个师，负责保卫斯摩棱斯克—维亚济马一线，防御正面宽50公里。
8月底，苏中央方面军遭到德军围歼，斯摩棱斯克战局更加恶化。9月初，苏最高统帅部再次发动反击，预备队方面军第24集团军10个师进攻叶利尼亚，罗科索夫斯基的第16集团军从北面迂回斯摩棱斯克。罗科索夫斯基兵力单薄，未能突破德军防御和解放斯摩棱斯克，但是牵制了德军准备用于叶利尼亚战役的大部分预备队，从而协助第24集团军收复叶利尼亚并向西推进25公里。苏军无力取得更大胜利。从1941年9月10日开始，在斯摩棱斯克作战的西方方面军、预备队方面军和布良斯克方面军全部转入防御。
11日，罗科索夫斯基被晋升中将军衔。
德军取得斯摩棱斯克会战胜利之后，没有继续向莫斯科进攻。希特勒将首攻目标从莫斯科转向基辅和列宁格勒。德“中央”集团军群主力转而面南，和“南方”集团军群主力一起投入基辅战役。
9月底，德军取得基辅会战的胜利并完成了对列宁格勒的包围之后(参见列宁格勒战役)，集结了“中央”集团军群和3个坦克集群共78个师，180万人，开始实施进攻莫斯科的“台风”作战计划，企图于入冬前攻下莫斯科(参见莫斯科战役)。
德军首先对布良斯克方面军防御地带和维亚济马一线发动进攻。罗科索夫斯基的第16集团军和叶尔沙科夫的第20集团军防御正面相对平静。
1941年10月5日，罗科索夫斯基接到西方方面军司令部的命令：“兹命令第16集团军司令员罗科索夫斯基立即将其防御地带连同部队转交第20集团军司令员叶尔沙科夫，你本人带司令部及必要之通信工具以强行军速度最迟不得晚于早6时10分到达维亚济马。第16集团军新编成内将包括维亚济马地区的步兵第50、第73、第112、第38、第229师，坦克第147旅，以及1个火箭炮营、1个反坦克团和1个统帅部预备队炮兵团，集团军的任务是阻击从南面斯帕杰缅斯克地域向维亚济马进攻之敌，不让其越过普梯科沃；克鲁德耶、德罗日诺一线北进……”
罗科索夫斯基立即执行命令，当夜动身沿明斯克干线向维亚济马进发。一路见到的都是撤退景象。1941年10月6日拂晓，罗科索夫斯基抵达维亚济马，城里没有任何部队，命令所列的部队一个也联系不上，同方面军司令部的联系也中断了。罗科索夫斯基派出侦察兵，了解到形势的严重性。他对司令部人员说：“必须赶快离开这里。没人守卫维亚济马。走吧。”
德军的合围圈已经在维亚济马附近闭合(参见维亚济马—布良斯克战役)，罗科索夫斯基决定朝东北方向突围。1941年10月8日，在距莫扎伊斯克40公里处，罗科索夫斯基终于用无线电与方面军司令部取得联系，并按指示抵达莫扎伊斯克，然后乘派来的飞机飞抵西方方面军司令部。1941年10月13日，新任西方方面军司令员朱可夫大将命令罗科索夫断基“率领步兵第18师前出沃洛科拉姆斯克地域，收编该地全部部队和新到达该地的部队，在北起莫斯科海(伏尔加水库)南到鲁扎河的地带组织防御，制止敌人从该地带突破”。
罗科索夫斯基在沃洛科拉姆斯克设立了指挥所，着手收编部队。到16日，第16集团军的编成内共有21个步兵营、6个骑兵团、73门反坦克炮和123门野战炮。要防守100余公里的地带，这些兵力远远不够。
1941年10月16日，德军开始以绝对优势兵力向第16集团军防地发起猛烈进攻。苏军浴血奋战．顽强阻击德军10天，最后被迫将防线后移。1941年10月17日，德军占领沃洛科拉姆斯克。几天后，罗科索夫斯基夺回沃洛科拉姆斯克地区的几个战略点，但无力扩大战果。他的首要任务是加强防御，准备对付德军必将发动的更大规模的进攻。
希特勒在“中央”集团军群内建立了两个快速集群，对西方方面军和相邻方面军的接合部，同时对西方方面军的两翼突击，以便从南北两面迂回莫斯科，在其东部封闭合围圈。西方方面军右翼是第30集团军和第16集团军。德第3、第4坦克集群的主突方向直指这两个集团军。
1941年11月6日，德快速突击部队开始冲击罗科索夫斯基的防御阵地。战斗异常激烈。第16集团军各部挡住了德军的进攻，使德军陷入争夺据点的持久战之中，推进速度十分缓慢。…
