在白帝城居住期间，日本人趁机找上门来。日军上海舰队司令、海军少将荒城二郎和海军驻上海特务机关长秀藤大佐专程前来游说吴佩孚。表示愿意帮助山炮500门、机枪2000挺、步枪10万支，还有其他军事物资，并赠饷银100万元，支持吴佩孚东山再起，重夺天下。吴佩孚摇摇头说:“我过去有枪何止10万，有钱何止100万，由此可知天下事的成败利钝，决不在于有多少枪和多少钱!我们中国人家里的事，应该由中国人自己来管。贵国的好意，我吴佩孚敬谢不敏了。”

1931年，吴佩孚应张学良之邀，定居北平，那时“九一八”事变刚刚发生，张学良以子侄辈的身份邀他做客，没想到招来一顿没趣。

吴佩孚见面就质问:“沈阳事变，你为什么不抵抗?”张学良脸色当时就变了:“我有中央命令。”

“有命令也不行，将在外君命有所不受，你连这个道理都不懂，真丢你老父的脸。”旁边的人连忙拉了拉吴佩孚的衣襟，现在是在人家的地盘上，好歹得给主人留个面子。

吴佩孚甩开衣袖接着说:“国仇你不报，私仇你不报，你老子的棺材已经竖起来了!”

张学良是在蒋介石的不抵抗命令下退出东三省的，这时是有苦难言，只得毕恭毕敬地说:“玉帅骂得对，我确是给父亲丢脸了。”随后将东四什锦花园胡同的大宅院送给吴佩孚当寓所，并每月送他4000元。

在四川蛰伏期间，吴佩孚曾自作一联：

得意时，清白乃心，不纳妾，不积金钱，饮酒赋诗，犹是书生本色;

失败后，倔强到底，不出洋，不进租界，灌园抱瓮，真个解甲归田。

吴佩孚在当时以“四不主义”闻名于世，即:不住租界、不积私财、不出国、不纳妾。他在第二次直奉战争中，在天津曾遭张作霖和冯玉祥的前后夹击。败北后，若是潜入租界，当可免去生命之虞和逃亡之苦。然而他断然拒绝部下让他进租界的建议，宁愿亡命天涯。

但在不纳妾这一点上，很重夫妻之伦的吴佩孚终究是身不由己，没有做到最后。吴佩孚一生娶了四位夫人。在他15岁那年，娶了18岁的第一位夫人王氏，夫妻感情尚好，可惜3年后，王氏因病去世，没有生育子女。吴佩孚直到31岁时，才续娶了第二个夫人李氏。据说李氏出身于蓬莱有名的富豪之家，相貌出众，知书识礼。吴佩孚在长春做北洋第三镇管带时，全镇女眷数百人，大家一致公认吴管带夫人是最为出众的。李夫人虽然出身富豪之家，但很贤淑，上奉吴母，代照顾吴佩孚的兄弟文孚。不过日子长了，婆媳间因为家务事产生了一些矛盾。特别是和吴佩孚结婚几年，她没有生育，更是让吴母不满。吴母就盘算着给吴佩孚纳一房妾。这时张佩兰出现了，她一见到文武双全、风度潇洒的吴佩孚，悄悄地爱上了他。张佩兰为人乖巧，先认吴母当干娘，认吴佩孚为兄长，并且把吴母哄得很开心。吴母就做主让吴佩孚再娶了张佩兰。成婚的那一天，可怜夫人李氏眼泪婆娑地对张佩兰道：“好妹子，你怎么做起新娘子来了？”然后又转向吴佩孚：““你是发过誓的，这辈子不纳妾的，大丈夫一言九鼎，怎么言而无信了。”一席话，说得两位新人满脸通红。