陶谦幼年时父亲去世，少年时以性格放浪闻名县里，十四岁时以布作为战旗，骑着竹马与乡里小孩子一起嬉戏。

他的同乡、曾任苍梧太守的甘公出门时遇见陶谦，见到陶谦的外貌不凡，于是叫上车来与他交谈，感到非常高兴，把自己的女儿嫁给了陶谦。

甘公的妻子对此非常愤怒，但是甘公对其妻说：“这个孩子外貌奇特，长大后必成大器。”

所以刘备后来娶了甘夫人，不只是因为甘夫人肤白貌美那么简单。

陶谦后来喜欢学习，先是考上诸生，在州郡为官，后被举为茂才，拜尚书郎，先后出任舒县令、卢县令。其后迁幽州刺史，被徵拜为议郎。

中平二年（185年）三月，北宫伯玉等率领羌胡进犯三辅，灵帝派遣左车骑将军皇甫嵩率军讨伐，皇甫嵩表请武将随行，召拜陶谦为扬武都尉一同出征，将叛军击败。

七月，皇甫嵩因先前得罪中常侍赵忠、张让，在他们的诽谤下被贬官削爵。

朝廷另委派司空张温为车骑将军前往讨伐，张温请陶谦为参军，接遇甚厚，但陶谦素来轻蔑张温的作为，心怀不服。

陶谦和孙坚都曾是张温属下，只是陶谦地位比孙坚高的多。

后大军回朝，陶谦在百官宴会上公然羞辱张温，张温大怒，意图将陶谦迁往边关，在别人的劝说下才将陶谦追回。

张温于宫门迎接陶谦，陶谦并不领情，但张温对陶谦还是像以前一样好。

中平五年（188年）十月，青、徐两州黄巾复起，攻打郡县。

朝廷任命陶谦为徐州刺史，镇压黄巾军。

陶谦一到徐州就任用亡命东海的泰山人臧霸及其同乡孙观等为将。结果一战便大破黄巾军，剩下的黄巾军也被迫逃出徐州境内。

黄巾破走后，陶谦上表拜臧霸、孙观为骑都尉，令其屯琅玡郡治开阳，驻守徐州北面。

初平元年（190年）正月，关东牧守拥立袁绍为盟主，矛头直指在洛阳的董卓。当时天下郡县响应，大兴义兵。

然并卵，心怀汉室和董卓的陶谦，并未加入关东声讨董卓的军事行动之中。

在叶林前世，初平二年（191年），名将朱儁屯驻在中牟县，传信给各个州郡，召请部队讨伐董卓。

墙头草陶谦得知此事后，立即派来精兵三千，其他州郡只派了一些兵来，陶谦又上表奏任朱儁代理车骑将军。

初平三年（192年）四月，王允、吕布杀董卓，后李傕、郭汜等反，攻陷长安，把持朝政。

朱儁当时还在中牟，陶谦认为朱儁是名臣宿将，屡立战功，可以委以大任，

于是联合前扬州刺史周干、琅邪国相阴德、东海国相刘馗、彭城国相汲廉、北海相国孔融、沛相袁忠、泰山太守应劭、

汝南太守徐璆、前九江太守服虔、博士郑玄等人共朱儁为太师，移檄牧伯，同讨李傕等，奉迎天子（《奏记朱儁》）。

十二月，李傕用计召朱儁入朝，朱儁于是辞谢陶谦，应召入朝，陶谦也只好作罢。