1940年，陕甘宁边区正兴起“大生产运动”，耿飚率部队来到一处偏远山地屯田开荒。深山丛林里野兽众多，不仅糟蹋庄稼，还伤害人畜。“父亲组织部队打猎，一个月下来，打了4只老虎、七八只豹子、上百条狼和狐狸以及上千只野兔。他们把兽皮剥下来，去城里卖钱。父亲将一只虎送到延安，给毛主席和朱总司令。毛主席童心大起，‘引诱’朱总司令说，‘你能不能一个人把它举起来？’朱总司令还真试了试，然后说，‘不行’……”耿莹边说边笑得前仰后合。
“父亲英勇善战。长征时湘江之战，他的一个团阻击了敌人整整15个团！这在战争史上是不可想象的。父亲足智多谋。当年北平和平解放谈判中，做地下工作也是一把好手。”一次，耿飚发现有个经常跟踪他的特务几天没露面，一打听原来是生病了。耿飚就买了药去看他。特务被感化了：“我这工作不是人干的。病了没人管我，反倒是你们共产党来照顾我。”
在长征途中，耿飚居然每天写日记。“父亲有一架相机，拍了不少照片。斯诺对长征的了解和描写，很多得力于父亲的日记。《西行漫记》里的照片，有的还是父亲的作品。”
给六百万军队“消肿”
在北京外交部旧址附近的一所公寓中，耿飚的长女耿莹向环球人物杂志记者回忆说：“我这个父亲，上山能打猎，下水能摸鱼，出门能谈判，回家能做饭……”
在耿莹心中，父亲是个充满传奇色彩的人物，实在难用一句话概括。
耿飚的夫人赵兰香，已87岁高龄。谈起丈夫，她和女儿有相同感受：“耿飚一生的经历丰富多彩，由于工作需要，党和国家安排他在不同的工作岗位上，从事截然不同的工作，但是他在每一个岗位上都能干得很出色。”
五角大楼的特殊客人
耿莹说，父亲从童工到将军，“大风大火”了一辈子。在70多年的革命生涯中，他多半时间是在外交岗位上。
1979年1月2日，中央军委副主席、总参谋长邓小平宣布：军委决定耿飚回军队任职。
1979年1月11日，中共中央正式任命国务院副总理耿飚兼任军委秘书长，协助军委主席处理军委的日常工作。1981年3月，耿飚又兼任国防部长。
赵兰香至今还记得耿飚回归军队的那一天。
“工作人员送来了军装，等不得我给新衣服过水，耿飚当即就‘披挂’上阵了。他一连说了几个‘好哇，穿什么都不如穿它舒服。还是红旗式的领章好，还是那颗红五星好。’”
耿莹回忆：“在父亲兼任国防部长的前后两年中，他为军队整编、民航改制、中美军事关系等问题操碎了心。”
1980年5月25日，由耿飚率领的军事代表团访问美国，走进五角大楼。
“后来我听父亲讲，五角大楼的工作人员不顾禁令，纷纷从窗户探头出来。他们没想到，美国会为一位共产党国家的军队领导人举行欢迎仪式。”耿莹说。
访美期间，耿飚一行还登上了“小鹰”号航空母舰。这是中国人民解放军和科技人员首次踏上航空母舰。上舰后，其规模气势和现代作战能力，给他们留下了极深印象。
在看到代表世界海军最先进水平的装备时，耿飚和同事们内心深处也萌动着尽快改变我国海军面貌的激情。
赵兰香还记得一个细节：5月28日晚，美方把中国军事代表团请进白宫，卡特总统夫妇在晚宴后，邀请耿飚夫妇一起观看了电影《星球大战(Ⅱ)》。但美方因顾忌“如此过分招待中国人会刺激苏联”，所以当时没有将看电影的情况对外公布。
这次访美，中美双方拟定了进一步加强两国军方联系的计划，包括增加军方人员接触，美国同意向中国出口某些具有民用和军用双重价值的技术，并愿意对可能向中国出口的某些军事装备提供技术和资料。
当时有记者问：“这是否意味着美国同中国在军事上，哪怕是暂时性的结盟的开端？”美国国防部长布朗答道：“根本不是。美国和中国是朋友，不结盟也可以交朋友。”又有记者问：“同中国军方发展关系是否终将导致美国向中国出售武器？”
耿飚说：“我认为目前没有这个可能。我们的友谊要靠一步一步地来，一天一天地发展。”
组建反劫机警察特种部队
耿莹告诉记者，很多老帅对耿飚在就任国防部长前后执行的“军队消肿”政策，印象深刻。
“父亲在邓小平同志和几位老帅的指导下，主抓了军队的精兵简政，那是‘文革’以后人民解放军的第一次大‘消肿’。”
耿莹曾在父亲的回忆录中看到，当年父亲召开军委会议动员部属说：“现在这个样子化不了(实现国防现代化)……我们都是从枪林弹雨中出来的，大家都懂得指挥机关人多了，高大了，并不能提高效率，反而很多事情难办。过去办事情简单，一个电话，或者把人找来，当面几句话一说，回去就办妥了。现在办事情有些人搞官僚化那一套……搞那么多干部，说是能上能下，实际上能上难下，提起来高兴，降下去就不高兴，还要骂娘。现在要消肿，做三年计划，真正消肿！”
为保证简编部队在紧急情况下实施军务动员，耿飚提倡首先把预备役搞好。转业复员的官兵要搞预备役登记。耿莹说：“父亲还给他们讲了《花木兰》的例子。他说‘你们看朝廷里就有花木兰父亲的名字，一旦打仗，一个通知下来，哪一天集中，他自己带弓马，带着保留的军服就来了’。”
在耿飚等的积极努力下，经过这次精简整编，人民解放军的总员额由600多万降到400多万。从此，铁道兵和基建工程兵在军队序列中消失。
耿莹对耿飚在任国防部长期间组建特种警察部队的事记忆犹新。“1981年6月，父亲召开中央军委办公会议，研究如何应对国际上日益猖獗的劫持飞机等恐怖活动。”
1981年10月9日，国务院、中央军委决定，成立反劫机警察特种部队。“他们从武汉军区调集了一个团的兵力，开始封闭式训练，当地老百姓称他们是‘敢死队’。”
就在训练紧锣密鼓进行时，1982年7月25日，中国民航发生了成立以来的第一次劫机事件。民航兰州管理局的一架飞机遭5名歹徒劫持，命令机组改飞台湾。“父亲立即到突发事件指挥中心现场进行指挥。后来机组人员在乘客的配合下，制服了歹徒。”
1983年，耿飚倡建的警察特种部队并入新成立的武警部队，改称“中国人民武装警察部队特种警察大队”，任务为反劫机、反恐怖、反暴乱。
“香港驻军”事件
在驻军这个问题上，这个高度敏感、高度关注的问题上，耿飚说了一句模棱两可的话，结果引发了一起严重的政治事件。 1984年5月15日起，耿飚参加第六届全国人民代表大会第二次会议。在此之前的3月12日，他参加第六届全国人大常务委员会第四次会议。按照这次会议精神，耿飚对参加全国人大六届二次会议认真进行了会议发言准备，对需要审议的提案拟好了建议。此后就忙于出席世界议联大会和接待“议联”会员国来华访问的代表团。然而，在六届二次会议上一次突如其来的采访，却使耿飚陷入了一场严重的政治事件中。
事情的起因是关于香港回归后是否在香港驻军的问题。“两会”期间，香港记者到处采访，打探中央关于香港问题的立场、决定。据时任香港回归中方谈判代表团团长的周南在2007年出版的《周南口述：遥想当年羽扇纶巾》一书中回忆：“1984年5月，香港一些大的传媒派了一些女孩子来当记者。这些女孩子很难缠，有的还是奉命来摸底的。”前外交部长、时任全国人大常委会副委员长的黄华持同样看法，他在《亲历与见闻：黄华回忆录》中说：“被邀请来的香港记者极想捕捉到一点有关中央对香港回归问题谈判的信息，其中焦点之一就是回归后人民解放军是否进驻香港问题。香港记者趁人大会议期间香港各界人士同中国高层人士聚集的时机，见到党和国家领导人就劈头盖脸地提问。” 耿飚就是在劈头盖脸的提问中出了纰漏的。据中央人民广播电台记者刘振敏回忆： 有记者问耿飚副委员长：“香港老百姓怕驻军，你们中央是不是一定要在香港驻军？”耿飚副委员长作了含糊其辞的回答：我们可能不一定驻军吧。第二天，香港报纸讲香港不必驻军，是“中国政府的意见”；“中共前国防部长说，香港恢复后，中国将不派军队进驻香港”。一时间，满城风雨。有的认为，关于香港是否驻军问题，中国的政策变了，邓小平说的不算了。邓小平大发雷霆的时候，耿飚还一无所知。大会结束后，他按计划去万寿宾馆会见外宾并准备共进午餐时，突然接到通知，彭真委员长要他立刻赶回人民大会堂。司机和警卫参谋到另一个地方就餐去了。耿飚来不及找自己的车，就近抓了一辆便车，只身赶到大会堂西南门，被告知彭真已经到北门等他了，看来事情十分紧急。耿飚疾步穿过大会堂，脸色严峻的彭真低而急促地告诉耿飚：小平同志发火了。 …
