其實他也可以算得上是楊素一系的人馬。開皇年間，西南昆州刺史兼羌人土司爨翫起兵反隋，天子楊堅當即下詔命楊素率大軍討伐。其時張須陀年方弱冠，卻也隨軍出征。衝鋒陷陣，立功非輕。戰後論功行賞，封為儀同，並賜彩物三百段（儀同全稱為開府儀同三司』，本為極尊崇之榮銜。後逐漸泛濫，成為散官職稱，無實際差使與權力。北周定其為四品，分別是上開府儀同三司，三品；開府儀同三司，正四品；上儀同三司，從四品；儀同三司，正五品。大隋立國後亦加沿襲）。之後楊素領兵出擊大敗突厥，使突厥分裂為東西兩部。張須陀亦有隨軍出征，再因功而加開府，並實任洛州刺史別駕。

        張須陀並非什麼高門世族出身，只是寒門士子而已。居然在區區而立之年就能成為東都洛陽的第三號人物，得到楊素的賞識，實在是其中最關鍵因素。當此風聲鶴唳之際，張須陀身處嫌疑之地，處境確實比較尷尬。與其被人趕走，不如自己主動提出離開還比較能能保存體面。所以他早已作好準備，只等河南王這位行台尚書令到達洛陽，就要辭官回家鄉閉門讀書了。卻沒想到楊昭居然提出挽留，張須陀聞言亦頗感詫異。但按道理想來，那只是因為河南王剛剛到達洛陽，仍未熟悉處理諸般事務，所以才講的客氣話而已。

        「雖是瓜田李下，但終究清者自清，濁者自濁。」楊昭微微一笑，道：「張別駕秉性剛烈，處事也公正無私。就任洛陽三載以來，更不曾添置半分私產。洛陽城中，誰人提起別駕來不是交口稱讚？本王早在大興之時，便早已對別駕的名聲有所耳聞了。楊素雖然於別駕有恩，但他此番謀逆，全是為一己私心，想來別駕必然也不屑於助紂為虐，棄明投暗的。既然如此，本王卻還有什麼好擔心的呢？假若有什麼無聊人士想要籍此說三道四的話……哈哈，嘴巴生在別人身上，便隨他們去罷了，根本無須在意呢。」