吴佩孚从此再也没什么“绯闻”。开府洛阳时，有一位德国小姐叫做露西的爱上了吴佩孚，西洋女子就是开放，大胆示爱，居然把个久经沙场的吴大帅吓得退避三舍，在露西小姐的情书上批了四个大字:“老妻尚在。”但吴佩孚内心却是得意的，对夫人道:“切莫以为我是糟老头子了，还紧俏得很呢。”由此可见，不是他不谙风情，而是他对自己道德方面的要求和束缚。李夫人和张佩兰始终也没有为吴佩孚生下一子半女。1929年，吴佩孚56岁时，张佩兰也已44岁，她眼看自己不能为吴家生育，就挑选了一名丫环，让吴佩孚收房做小妾，但直到吴佩孚去世，这个小妾也没有生育。吴佩孚一生终无子嗣。

自抗战爆发后，吴佩孚的日子更难熬了，日本人看中他过去的威望和“常胜将军”这块金字招牌，几度拉他下水，据说为此花费了三千多万日币，仍是一无所得。

于是大特务土肥原亲自出马与吴佩孚交涉，土肥原开门见山，要求吴佩孚重新出山，调停中日和平。

“好哇，我也希望中日和平，但我说话不算数，你打个电话给你们的天皇和蒋委员长，弄一份全权委托书，我一定照办。”吴佩孚打着哈哈。

“凭玉帅以往的威望，振臂一呼，肯定对时局大有好处。”土肥原给吴佩孚戴高帽。

“我在中国确有威望。”吴佩孚有点得意洋洋了，但话锋一转，“就是你们日本人不买账，现在我让你们退出中国，退出东三省，行吗?”

土肥原决定来硬的了。不多久，他让报界披露，吴佩孚将举行记者招待会，公布对时局的看法，并事先拟好讲话稿散了出去。与此同时，什锦花园门口也站上了日本宪兵，摆明了意思，姓吴的得识时务，不然没好果子吃。

吴佩孚满不在乎:“本帅什么没见过，跟我玩这种小儿科?”他决定招待会照常出席无妨。

就在这招待会上，吴佩孚当着中外记者坚定宣布，他本人虽然赞成和平，但有三个先决条件:一、日本无条件全面撤兵;二、中华民国须保持领土和主权的完整;三、日本应以重庆国民政府为议和的交涉对象。他一转身，大声对秘书道:“你给我逐字译成日文，一字一句，断乎不能有片言更改。”

汪精卫也曾亲到北平，约吴佩孚前往日本华北方面军总司令的官邸，商谈合作。吴佩孚断然拒绝，说:“我们是中国人，谈的是中国事，到日本人那里去谈什么东西?”

日本人在拉吴佩孚下水之事上，可谓投资巨大，居然是竹篮打水一场空。恼羞成怒之下，终于要下毒手了。

1939年11月24日，吴佩孚吃饭时，饺子馅里的骨头渣嵌入牙缝中，顿时疼痛难忍。

听说吴佩孚患了牙疾，日本方面表现了过多的关注，驻扎在北平的川本少将、华北汉奸组织“治安总部部长”齐燮元等人，带着牙医前来探视。吴佩孚这时疼得已说不出话来，只有怒目而视。

吴佩孚的夫人张佩兰及幕僚见他们来势汹汹，本能地阻拦他们。但被川本带来的宪兵赶出卧室。日本医生手拿锋利的手术刀，并没有刺向化脓的牙槽，而是直刺玉帅的咽喉，只听一声惨呼，吴佩孚圆睁双眼，口中血如泉涌，就此离开人世。

吴佩孚之死，在北平引起轰动，所谓公道自在人心，他出殡的那一天，北平万人空巷，从东口大街一直到神路街口，密密层层，排满了人群，都是自愿为吴佩孚送行的老百姓，脸上净是悲愤的表情。

国民党元老吴稚晖这样评价吴佩孚：“子玉先生的品格，不论你政见如何，都是应该表示钦佩的。”此语不无道理。