郜芝者，字玉兰，河南密县人，世为中原大姓。祖节，梁兖州刺史；父护，早亡，故芝少孤。颇好学，遍客诸同宗，惟求该览其书。每借而抄写，再日乃毕，其勤勉如此。
梁崇宁元年，荐补本县记室，机敏速算，功每倍于共事。三年，为本县典库，明年为令，守正执法，不以私情为扰。有同宗者，所乘马惊误撞杀一人，亲戚皆劝免之，芝固执不许，颇为族人所言（注曰：嫌其不以宗族动情）。而每有俸禄，常分于宗亲，事长老如父母，恭敬毕尽，时之所高。
七年，行本郡事，人荣之。既行本郡，劝奖农桑，招揽户口，以无主之田租之，等分其谷。以郡府购牛，贷民为用，借者初岁年成分其四归官，余年分其三归官。时灾荒频发，民有饥忧，故郡县赖之。
开阳二年夏，帝师至河南，芝以郡归诚。高帝久闻其名，见之甚喜，以为司州长史。四年，迁户部侍郎。六年，求转兵部，高帝疑其不知兵，乃问以近世胜败之所由，皆知其始末，乃转之兵部侍郎，兼典军校尉。
七年夏，吴魏连兵四十万乡洛，帝议与群臣，芝言曰：“今敌虽众，而吴魏不能合，可乘其劳顿，以我之精卒，要彼弱处，一战威发，挫其锋锐，则其自行瓦解，不战可退。”御史令方从益言曰：“不然。臣以为，敌势众，我不能卒败，可坚壁清野，待敌深入，敌既远来，内隙而粮远，一战可禽。”郜芝又言曰：“方御史之策，必使敌终临洛下，不可御也。”帝谓曰：“今其锋锐，未必可挫，亦坚壁以待。”芝乃言曰：“事大，亦召圣王来距。”帝虽然之，未发书。
后果如芝所料，吴虽回兵，魏承威徇克，直抵洛南，帝急召河南诸军于洛，复书圣王，使将关中兵来援。语芝曰：“恨不听卿计，使东西劳顿。”自此常参机密，军国大略，多有谋谟。
十五年，拜司隶校尉，封荥阳侯，在政清和，京畿歌颂。十七年，白衣鲜卑十余万大压辽西，帝诏群臣议讨鲜卑。圣王进曰：“臣弟以为，末梁以降，索虏猖獗，荼毒百姓。今皇兄以神威席卷四海、囊括宇宙，关内尽已大定，宜帅师亲征，一清戎狄，绝百年之患，无使为子孙累也。”芝驳曰：“索虏虽猖獗，不过一部之寇。陛下万金之身，天下之所赖，不宜躬临征伐，应另择大将，授以兵甲，剑指东北，囚虏自灭。”圣王固执，芝固谏，帝遂稍寝其议。出，芝拜圣王曰：“方庭争之事，为国家计耳，非敢冲犯九千岁。”圣王对曰：“君与在下同为社稷谋也，知卿心也。”后帝托于大将，并不亲征。
十七年，加将作大匠，督办两京宫殿。十八年夏，加兵部尚书，司隶校尉如故，芝位兼文武，当时以为荣。