开元四年，苏颋担任宰相。张说与苏颋之父苏瑰是故交，便撰写一篇五君咏，在苏瑰忌日时献给苏颋，其中一则是记载苏瑰的故事。苏颋非常感动，向玄宗进言，改任张说为荆州长史。不久，张说改任右羽林将军，兼检校幽州都督。开元七年，张说任检校并州大都督长史兼天兵军大使，代理御史大夫，同时在军中修撰国史。开元八年，朔方大使王晙诛杀突厥降户阿布思等千余人，引起并州的同罗、拔曳固等部族的恐惧。为了平息事端，张说只率二十人，持节安抚各部，晚上还住在他们帐中。副使李宪得知后派人传信，劝他不要涉险，张说却丝毫不惧。诸部落深受感动，得以安心。

开元九年，突厥降将康待宾反叛，自称叶护，攻陷兰池六州。唐玄宗命王晙率兵讨伐，又命张说参与军机。当时，康待宾暗中勾结党项，攻破银城、连谷，还占据粮仓。张说率一万人出合河关袭击，大破康待宾，并乘胜追击。当逃到骆驼堰时，党项反戈，叛军溃散。张说招抚党项流散人员，使他们各安其业。副使史献认为党项反复无常，建议把他们全部诛杀。张说道把他们全杀了，是违背了天道。于是奏请设置麟州，安顿党项。同年，张说被召拜为兵部尚书、同中书门下平章事。开元十年，张说担任朔方节度大使，并巡视边防五城。当时，康待宾余党康愿子举兵造反，自立为可汗，并劫掠牧马，西渡黄河出塞。张说率兵追讨，在木盘山擒获康愿子，俘虏三千人，又将居住在河曲六州的降户五万余人强行迁往中原的许、汝、唐、邓、仙、豫等州。

起初，唐朝边境有镇兵六十多万，张说以时无强寇，不假师众为由，奏请裁军二十万，让他们回乡种地。唐玄宗对此犹豫不决，张说道虽多，但各将帅都只管拥兵自卫，役使兵丁营私。真能制敌，不在兵多。以陛下之英明威武，四夷都能臣伏，不用担心裁减人员会招来寇贼。臣请以臣全家百口人做担保。玄宗这才答应。当时，诸卫府兵贫弱，大都在轮班休假时逃跑了。张说建议招募壮士，修改条令，减少劳役，不到十天，便选得精兵十三万，分别补给各卫，增强京师的守卫。这就是后来的彍骑卫队。

武则天晚年，张昌宗构陷魏元忠与高戬谋反，并许给张说高官厚禄，让他作证。武则天询问张说，张说还未答话，魏元忠道和张昌宗一起陷害我吗张说怒道为宰相，怎会说出这种陋巷小人的言语!这时，张昌宗在一旁急忙催促张说，让他赶快作证。张说道看到了，张昌宗在陛下面前，还这么逼迫我，何况在外面呢!我没有听说过魏元忠要造反，是张昌宗逼我做伪证。张易之急忙大声道与魏元忠是共同谋反!武则天追问详情，张易之回答道曾经说魏元忠是当今的伊尹和周公。伊尹流放太甲，周公作了周朝的摄政，这不是想谋反又是什么

张说辩解道之兄弟是孤陋寡闻的小人，只是听说过有关伊尹、周公的只言片语，又哪里懂得伊尹、周公的德行!当时魏元忠刚刚担任宰相，我以郎官的身份前往祝贺，他对客人说功受宠，不胜惭愧，不胜惶恐。'我确实是对他说过承担伊尹、周公的职责，拿三品的俸禄，有什么可惭愧的呢!'那伊尹和周公都是大忠臣，自古到今一直受到人们的仰慕。陛下任用宰相，不让他们效法伊尹和周公，那要让他们效法谁呢我难道不知道依附张昌宗就能立刻获取宰相高位、靠近魏元忠就会马上被满门抄斩的道理呢只是我害怕日后魏元忠的冤魂向我索命，因而不敢诬陷他罢了。武则天却道是个反覆无常的小人，应当与魏元忠一同下狱治罪。

后来，武则天又一次召见张说追问此事，张说的回答仍然与上次一样。最终，魏元忠被贬为高要尉，高戬、张说都被流放岭南。

张说和徐坚同在集贤院当学士十多年，爱好一致，感情相投。当时和他们共事的学士们，已经衰落的很多，独有他二人还留在集贤院。有一次，张说把当年的学士名字一一写出来，和徐坚一起观看。

徐坚问道当年都是各有专长，各领风骚啊，请问文章方面，谁先谁后张说道、崔融、薛稷、宋之问的文章，都是良金美玉，无可挑剔。富嘉谟的文章，严峻峭拔，雄奇豪放，别具一格，但他这种言论，若是用在议论朝政的地方，必然引起大乱子。阎朝隐的文章，浓妆艳抹，词藻华丽，轻歌曼舞，读后令读者愉悦，虽然有些风流儒雅，但是有点过于幽默诙谐。