民国时期，山东地区涌现了两位著名的军阀人物。一位是被称为“三不知”将军的张宗昌，他虽学识有限，却对作诗情有独钟。另一位则是韩复榘，因临阵脱逃而被蒋介石下令处决。除了这两位，在他们之前还有一位张怀芝，尽管他的名声没有前二者响亮，但其经历同样充满传奇色彩。张怀芝起初只是个喂马的无知青年，最终却摇身一变，成为山东地区的实际掌控者，这一转变堪称励志。同样因为缺乏文化，他也闹出了不少笑话。然而，张怀芝在山东的口碑，相较于张宗昌和韩复榘要好得多，其最终结局也较为圆满。

1862年，张怀芝诞生于山东东阿县。他幼年时期家境极为贫寒，一家六口挤居在昏暗潮湿的地窖内。由于经济条件限制，家中时常面临断炊困境，甚至需外出乞食，因此张怀芝从未踏入过学堂一步，只求能够温饱。及至十八岁那年，张怀芝开始到村南黄河岸边挑运河泥，以此为生，支撑家庭开销。早年历经诸多艰辛，使得他在日后飞黄腾达之时，对贫苦大众抱有深切的同情。在山东执政期间，他并未对百姓横征暴敛，这在当时实属难能可贵。张怀芝时常鼓励山东官员从薪水中捐出一部分，用以资助贫困民众，身体力行地推动这一善举。

1881年春节，他前往亲舅舅家中共度佳节。由于家境贫寒，舅舅与舅妈的态度冷淡，这让他感到不满，随即与舅舅争执起来，之后愤然离家。返回家中，他心情沉重，暗自下定决心要出人头地，让那些轻视他的人刮目相看。恰巧，他得知一位亲戚在天津工作，便与母亲道别，独自踏上了前往天津的旅程。

他前往了天津，由于不识字且缺乏技能，加之是从乡村初到大都市，对许多事物都感到陌生，因此难以找到合适的工作机会。幸运的是，他身材高大，自幼便习惯劳作，拥有不小的力气。恰逢那时，袁世凯在天津招募士兵，他便决定投军入伍。

进入部队后，情况并未有太多不同。由于缺乏文化知识，技能匮乏，我被分配去照料马匹，担任起了马夫的角色。尽管职责是喂养马匹，张怀芝依然尽心尽责，将马匹照顾得十分周到。机遇总是青睐那些不辞辛劳的人。

一回，袁世凯骑马巡查部队，不料马匹突然失控狂奔，险象环生，似乎即刻要将袁世凯摔落。这时，张怀芝挺身而出，以肉身抵挡，稳住了摇摇欲坠的袁世凯，使袁世凯幸免于难。然而，张怀芝自己却因此受了重伤，需卧床修养数月之久。自此以后，袁世凯对张怀芝刮目相看，张怀芝的仕途也随之一帆风顺。

1885年6月，张怀芝获袁世凯派遣，进入天津武备学堂的首期炮兵专业学习。入学后，他致力于文化学习，自知有所欠缺，故而保持谦逊态度，乐于向他人请教。通过坚持不懈的勤奋，他成功掌握了《步兵作战手册》等军事著作的内容。

1895年，袁世凯于天津小站着手组建新军，张怀芝随之加入现代陆军体系，并最终担任北洋常备军第一镇第一协的指挥官。在任职期间，他随同袁世凯参与了义和团事件的平息工作。

1900年，八国联军侵犯中国时，张怀芝指挥炮兵部队向欧洲各国使馆发起攻击。慈禧太后携光绪帝及一众文武官员撤离之际，张怀芝与董福祥一同领军，负责为慈禧的撤退提供掩护。鉴于他在保护皇室撤退中的杰出表现，他随后获得提拔，晋升为北洋军左翼步兵第四团团长。

1903年，他晋升为北洋军左翼步兵第一协的协统，并被调至山东，负责筹建新成立的第五镇军队。

1904年，他被调任至山海关防务营地担任指挥官。

1905年，他被提拔为陆军第二师指挥官。

1906年9月，他担任了南军临时编制的第四混合旅指挥官。

1907年，张怀芝前往日本，观摩了日本陆军大学的军事演练，归国后，他担任了北洋军第一镇第一协的指挥官。

1909年，他担任了北洋新军的第五镇统领职务。

1910年，该军队在天津驻扎。

1911年2月29日，张怀芝被任命为直隶混成协统的统领。同年10月3日，清朝政府发布命令，任命他为甘肃提督，这标志着他正式成为了一位手握重兵的地方军事首领。

1911年10月间，武昌发生了起义事件，随后袁世凯出任总理一职，他指派张怀芝为山东的防卫负责人，并兼任天津镇的统领。到了1912年1月20日，清朝廷正式任命张怀芝为安徽的巡抚。

溥仪在宣告放弃皇位后，担任了总统府的军事顾问。1913年5月23日，他被授予陆军中将军衔。由于对仕途前景感到迷茫，他选择前往济南居住。

1915年，袁世凯成为大总统后，决定让张怀芝出任察尔地区的都统职务。在袁世凯宣布自己为皇帝之后，他赐予张怀芝一等男爵的爵位。

1916年，张怀芝的职务发生变动，由察尔转至山东，担任督军一职，并被授予上将军衔。袁世凯逝世后，张怀芝转而支持段祺瑞，加入了皖系军阀的行列。黎元洪就任总统期间，张怀芝依旧担任山东督军，并且负责与反对袁世凯的革命党进行和平交涉，以实现停战。

张怀芝因学识有限，全凭袁世凯的栽培才有今日之地位。在治理山东期间，他发生了不少趣事。由于识字不多，张怀芝在分配任务时，会将下属的名字写在纸条上，放入竹筒中随机抽取。一次，他抽中了姚鹏的名字，但姚鹏彼时正在外地执行公务，这是张怀芝先前指令的。然而，张怀芝却下令将姚鹏召回，并要对他施以二百军棍的惩罚。姚鹏深感委屈，他外出办公是奉命行事，不仅未得到奖赏，反而要无故受罚。幸运的是，姚鹏平日里与同事关系融洽，多人出面为他求情。张怀芝虽心知自己理亏，却碍于面子不愿妥协。最终，此事以姚鹏写下一张象征二百军棍的欠条告终。

张怀芝为人颇为做作。当山东遭遇饥荒之际，他表面上痛心疾首，然而省财政拮据，他便倡议，带头从自己年薪中捐出两成来援助灾民，并号召全省官员效仿。但实际上，他却在捐款名单上悄悄抹去了自己的名字。此事后来曝光，各级官员纷纷指责他吝啬至极。对此，张怀芝始终无动于衷。后来他调任北京参谋总长，面对下属诉苦，他总是置若罔闻，甚至聘请保镖护身，以防有人滋事。

观察张怀芝的行为可以发现，其性格较为和善，不具备残忍的特质，时而展现出古怪幽默的一面。历史记录显示，尽管他利用职务之便谋取了一些私利，但在山东任职期间，并未实施严重的恶行。他偶尔参与一些自称为慈善的活动，声称自己出身贫寒，因此对民众抱有同情之心。

1917年，正值第一次世界大战期间，皖系军阀的首领段祺瑞主张向德国宣战。然而，总统黎元洪倾向于保持中立立场。为此，皖系军阀中的几位督军，包括倪嗣冲、张怀芝和李厚基，向黎元洪施压，要求他支持宣战决定。他们威胁称，若黎元洪拒绝，他们将解散国会。黎元洪坚决反对这一提议。同年5月23日，黎元洪决定罢免段祺瑞的总理职务。作为回应，倪嗣冲和张怀芝分别宣布安徽和山东脱离中央政府，明确反对黎元洪的决定。到了7月1日，黎元洪邀请张勋前往北京。出乎意料的是，张勋试图恢复清朝帝制，但随即被段祺瑞的军队击败。黎元洪因此辞职下台。随后，段祺瑞重新担任总理，而冯国璋则成为新的大总统。

九月之际，南方地区孙中山发起的“维护法律行动”拉开序幕。直系军阀冯国璋倾向于通过和平途径实现国家统一，而皖系军阀段祺瑞则主张采用武力。由此，直系与皖系之间产生了分歧。到了十二月六日，北京政府收到电文，请求发布针对西南地区的征讨命令。随后的十二月十六日，在段祺瑞的施压下，代理总统冯国璋委任曹锟为第一路军总司令，令其率领部队沿京汉铁路进入湖北；同时，任命张怀芝为第二路军总司令，指挥军队自津浦铁路进军江西，目标直指湖南。

然而，江苏的直系督军李纯与江西督军陈光远均拒绝了张怀芝的过境请求。1912年12月31日，经徐树铮的推动，北洋政府的督军曹锟、张怀芝等人联名发表电报，表示反对恢复原先的国会，并提出以临时参议会来暂时代理国会的职能。

5月29日，曹锟因厌倦战事返回天津。鉴于其主要军事力量均受其掌控，段祺瑞见状，随即召回张怀芝等人，终止了对南方革命势力的军事行动。

皖系军阀意图维持战事，意图进一步对抗南方的革命势力。徐树铮发起召集，曹锟、张怀芝、倪嗣冲等多位军阀参与会议，会上力劝曹锟率领部队继续向南方推进。

1919年1月11日，张怀芝被特别任命为参谋总长一职，并随之卸任山东督军之职。他在北京正式就职，担任内阁参谋总长。

1920年4月20日，张怀芝重返山东，继续担任山东督军一职。同年9月，他与王占元等人共同投资，开设了一家面粉工厂，该厂迅速成为济南规模最大的面粉生产企业。

1922年1月9日，被授予陆军上将军衔。同年4月，直系军阀战胜奉系军阀，随后曹锟迫使徐世昌离职，并自任总统职位。徐世昌无奈之下前往山东，指望张怀芝能代为向曹锟求情，但曹锟对此并未给予任何回应。

1924年间，直奉两系再次交战，张怀芝被委任为参谋总长及前线执法总监。彼时，冯玉祥在北京发起政变，致使曹锟遭软禁，吴佩孚在战场上失利。随着直系军队在第二次直奉战争中的溃败，张怀芝决定辞去所有军事职务，转至天津从事商业活动。

1934年10月10日，张怀芝在天津的居所去世，享年七十二岁。随后，他的遗体被安葬于故乡东阿。