中国代表团在巴黎和会上的惨重失败，极大地打击了张君劢，他认识到国际上只有强权，而没有公理，国家若本身软弱，所谓外交只是一句空话。这种打击坚定了他早已形成的要培养强健国民以壮大国力的认识。带着失望的情绪，他们一行继续欧洲的游历。对倭铿（也译奥肯或奥伊肯）的拜访，改变了张君劢的人生轨迹，他最终决定留在德国拜倭铿为师。倭铿是现代德国著名的生命哲学家，他主张人的精神意志的重要意义，张君劢发现了他的学说中蕴藏着和孔子相合之处：“孔子之所谓诚，即奥氏所谓精神生活也；孔子之所谓以诚尽人性物性者，即奥氏所谓以精神生活贯彻心物二者也。奥氏之所谓克制奋斗，则又孔子克己复礼之说也。”两者之不同则是，孔子为“抽象之论”，奥氏“则有科学根据”。张君劢的这段比较极其重要，它应该最能反映他一生的思想坚持和政治追求：一方面，他相信科学的力量，希望自己的祖国能依靠科技强国；另一方面，中国遭受西方列强的侵略和第一次世界大战后的现实，使得他又质疑科学支配人的后果。他想要的是既要让科学造福于落后的祖国，中国又能坚守重视人际和谐的优良传统。这就是张君劢毕生奉行不懈的“德、智”并重的道路。 源于资本主义之贪婪而发生的第一次世界大战，为社会主义思潮展示魅力提供了最现实的政治舞台。推崇魏玛宪法、一直试图以改良而不是革命把中国建成宪政国家的张君劢恰在此时与它相遇，因此，他试图通过国家社会主义拯救中国的思路就很自然地成型了，并从此成了国家社会主义在中国的坚定支持者。
张君劢第二次留学德国，由于心系国家的政治命运，再次放弃了博士学位回到中国。这一次他无意间竟在中国引发了一场文化争论。
玄学鬼
张君劢深刻地研究了《魏玛宪法》，对德国人民的服从和奋斗精神印象深刻，他把这归为德国能从一盘散沙很快完成统一，并实现宪政的主因。他由此想到了中国自辛亥革命以后，徒有各种版本的宪法，却总是崇尚武力，而不能实现宪政的可悲现实，他认为问题出在中国人缺乏基本的政治品格。1921年10月，他写成《国民政治品格之提高》一文，系统比较了中西政治的异同。他认为要拯救中国，必须以西方的“理性政治”取代中国的“武力政治”，而要做到这一点，首先必须建立一个理想的政党，通过政党教育人民来达成他为中国找到的政治出路。他相信“理想的政党成，则理性政治之实现必矣”。思考至此，他认为与其临渊羡鱼，不如退而结网。1922年1月，张君劢陪同来华讲学的哲学家杜里舒回到中国，不期，在实践政治之前，他先成了“玄学鬼”。
张君劢回国之时，正值“五四运动”之后，中国知识界对“德（民主）、赛（科学）二先生”的崇拜热情正高。1923年2月4日，陪同杜里舒北上天津和北京讲学的张君劢，应著名学者吴文藻之邀为即将出国留学的清华学校的学生做“人生观”的演讲。没想到这一次偶然的讲演，竟在当时的中国学界引起轩然大波。
张君劢演讲的题目出自倭铿的一本书《大思想家的人生观》，其主旨在于说明科学并非万能的，由于听讲人的特殊身份，所以他一开始就特别提醒他们不要以为天下的事都受科学因果律的支配，人们熟悉的人生观问题更是如此。他说：“天下古今之最不统一者，莫若人生观”。这一看法，客观地说，应该符合张君劢已经成型的思路，而且在今天看来，也有相当的合理性，但它恰冲撞了当时国内对“德、赛二先生”的崇拜，这篇演讲词刊登在了《清华周刊》的第272期上。
张君劢的好友丁文江这个著名的科学家率先发难，他读到该文后“勃然大怒”，先后在《努力周报》上发表《玄学与科学——评张君劢的“人生观”》和《玄学与科学——答张君劢》，激烈批评了玄学是“无赖鬼”，认为科学方法是万能的，科学若导致问题是出在政治家和教育家身上。他说是“玄学的鬼附在了张君劢身上”。张君劢由是获得了“玄学鬼”的称号。
由于张君劢对丁文江做了反击，并发展成“东方文化救世”的立场，于是这场笔战的范围大为扩展，当时众多精英人物都卷入到了这场论战中，这就是所谓的“科玄论战”或“人生观论战”。热衷以结果来论成败的学者通常愿意认为是“科学派”取得了胜利，但实际上，随着辩论的深入，双方的观点都日益走入极端，因此，评价这场论战的胜负是一个复杂的问题。从当时论战的各方谁也没有最终被说服来看，如何评价这场文化论争需要更复杂慎重的考虑。
也就在这一年，张君劢结识了冰心的好友，北京女子高等师范毕业的福建才女王世瑛。张君劢对王世瑛一见钟情，并迅速展开追求。王世瑛对此有些犹豫，于是写信给远在美国的冰心，向她征求意见。冰心在《我的良友─—悼王世瑛女士》一文中写道：十三年的春天（1924年），我在美国青山养病，忽然得到她的一封信，信末提到张君劢先生向她求婚，问我这结合可不可以考虑，文句虽然是轻描淡写，而语意是相当的恳切。我和君劢先生素不相识，而他的哲学和政治的文章，是早巳读过，世瑛既然问到我，这就表示她和她家庭方面，是没有问题的了，我即刻在床上回了一封信，竭力促成这件事，并请她告诉我以嘉礼的日期。
1925年张君劢与沈氏离婚后，正式迎娶王世瑛。冰心寄了一只镶有桔红色宝石的手镯做为贺礼。张君劢与王世瑛共同生活了二十年，生育了五个孩子。两人感情非常好。然而天意弄人，王世瑛于1945年在重庆因难产去世。张君劢为她写下了《亡室王夫人告窆述略》，余生都没有再娶。
宪法之父
中华民国宪法之父
“科玄论战”其实只是张君劢生涯中的一个插曲，如果说这对他有什么意义，充其量不过是把他的政治主张的思想基础予以宣示而已。他的志向是要使中国成为一个民主宪政国家。他要为中国制定出最好的宪法，然后在政治实践中去检证。
张君劢为中国制定宪法的经历从他1922年回国之初就开始了。自袁世凯败亡以后，中国军阀以抢夺中央政权为中心而使全国陷入混战的局面。当时国内知识阶层有鉴于这种危局，不少人主张通过变更国体，通过联省自治实行联邦制来挽救时局。在这个背景下，1922年5月7日，八团体国是会议在上海总商会开幕。张君劢作为小有名气的宪法学家和社会活动家应邀出席，并受国是会议的“国宪草议委员会”的委托，草拟成《国是会议宪法草案》两份，其中甲案代表张君劢本人的意见。在这个宪法草案中，张君劢实际上主张在中国实行结合单一制和联邦制的政治体制。这是因为若照搬美国的联邦制，则恰好为当时占地为王的军阀割据所用；若是实行单一制，则当时的乱局恰由以中央政权为依托的军阀坚持“武力统一”所造成。因此，综合中国的国情，他实际上主张在中国实行单一制，但以清晰划分中央和地方的权力范围为前提，而整个宪政框架都以维护人民的自由权利为指归。
这次制宪是张君劢作为宪法专家在中国宪政史上初试莺啼。很显然，这部宪法虽然比较好地反映了张君劢的政治主张，但无法得到军阀们的尊重。张君劢一直试图以尊重国情为基础，以不从根本上违背他的宪政原则为前提而执行妥协路线。此后，他作为宪法专家不停地卷入当时中国宪法问题的争议中。
1937年日本发动全面侵华战争，中国需要在这一主要敌人面前空前团结起来，国民党再坚持一党专政已举步维艰，张君劢的制宪才华在这时得到了全面体现。出于抗日大计，国民政府不得不成立国民参政会，1939年9月，国民参政会第一届第四次会议召开，结果会议颠覆了蒋介石的预想，演变成一场要求结束党治、实施宪政的会议。随后，宪政运动如火如荼地进行。虽然国民党万般阻挠，但随着美国卷入太平洋战争，中国的抗日局势的发展，中国政局也日渐发生变化。在抗日战争结束之时，在国内和美国的压力下，蒋介石政府不得不勉强于1946年1月10日召开政治协商会议，此即旧政协。在国内和国际都要求民主、实现宪政的压力下，国民党政府抛出尘封多年的“五五宪草”供代表们审议，结果张君劢提出了以五权宪法之名行英美宪政之实的宪法方案。张君劢批评“五五宪草”的国民大会制度是间接民权，不是直接民权。他主张直接起用公民的选举、罢免、创制、复决四大权利代替国大；以立法院为最高立法机关；行政院为最高行政机关，对立法院负责，而不对总统负责；限制总统权力，使之成为虚位元首。这一议案矛头明显对着独裁无胆、民主无量的蒋介石，没想到国民政府负责宪法草案讨论的孙科，出于自己的政治私利竟然支持了张版提案，而由于蒋介石本人也一时疏忽，竟然成案！…
