1928年,蒋、冯、阎、李发动第二次北伐,集中兵力解决山东问题。4月30日,北伐军三面包围济南城。张宗昌让出商埠一带交给日军接防,然后出逃。5月1日,北伐军攻入济南。5月3日,日军借机制造了震惊中外的"济南惨案",大肆虐杀济南军民。 后来张宗昌部队全部瓦解后,见东山再起无望,张于1930年夏赴日本当了寓公。"九一八"事变后,张宗昌于1932年初从日本回国,并打起"抗日"招牌,希图重返山东,卷土重来。此时,正值韩复榘任山东省主席,他怎能容下张宗昌这个心头之患。韩复榘亲自赶到泰山普照寺,与正住在这里的冯玉祥密商杀张方案,决定由冯玉祥旧部将领郑金声的养子郑继成去刺杀张宗昌。 郑继成者,济南城北华山人也,系国民革命军第二集团军第八方面军副总指挥郑金声的侄子,也是他的过继儿子。1927年11月,郑金声被张宗昌杀害。郑继成早就发誓要为先父报仇,如今机会来了,郑继成欣然领诺。 不久,张宗昌被几个所谓把兄弟骗至济南"旧地重游"。韩复榘也假意隆重接待,每日都有酒肉宴请。1932年9月3日,郑继成与好友陈凤山提前埋伏在济南火车站内。这天下午,张宗昌带两个护兵要回北平。6点左右开车前,张宗昌站在车厢口向送行者招手告别时,身穿灰色大褂的陈凤山从人群中一跃而出,举枪瞄准张宗昌喝道:"我打死你个王八蛋!" 但枪未打响。身高近两米的张宗昌见势不妙,随身携带的新式德国造手枪又在饯行宴会上送了别人,只好掉头就跑。跑到餐车尽头,张宗昌启门跳下,向北逃命。此时四面枪声大作,郑继成、陈凤山紧追不放,追至三站台北面7股道时,连向张开数枪,击中要害,张宗昌随即毙命。 张宗昌死后,山东各界纷纷电请南京政府赦免郑继成的杀人罪。翌年1月,郑继成被赦免,后被送进陆军大学将校班学习,抗日战争开始时,郑继成在第三战区司令长官冯玉祥将军麾下任军法总监。 张宗昌在济南火车站被刺毙命后,曾长时间露天暴尸。《济南文史精华》王丕廉撰文说,张曾在济南火车站被暴尸三天。实际情况是,张宗昌暴尸一天后于1932年9月4日移柩馆驿街西首皖新街安徽乡祠。