В VII—VIII веках до нашей эры в степях у реки Талас сложились племенные союзы саков и усуней, которые основали городище Тараз, следы которого были найдены на месте Центрального городского  рынка современного Тараза. Первое письменное упоминание города принадлежит греческим источникам и  относится к 568 году; там он именуется Толосом. Это был один из пунктов северной ветви Великого Шелкового пути, который проходил из Алмалыка (район современной Кульджи в Китае), в направлении города Ясы (ныне город Туркестан) и далее вниз, по течению Сыра (Сырдарьи). Китайский паломник, буддийский монах Сюаньцзан, проезжавший через Тараз в 630 году, сообщал, что «прибыл в город Та-ло-се, имеющий восемь или девять ли (мера длины – Прим. ред.) Купцы из разных стран живут в этом городе вперемешку…».

Далее история развивалась по трагическому сценарию. В 751 году вблизи города состоялась битва на Таласе, в которой арабская конница Аббасидского халифата во главе с Зиядом ибн-Салихом, наголову разбила армию Танского Китая во главе с Гао Сянь-Чжи и при помощи местных карлукских наёмников-тюрков. В результате арабы принесли ислам в кипчакские степи. В 893 году к стенам Тараза подошло войско Исмаила Самани. Дехкане Тараза добровольно открыли ворота города и приняли ислам. Христианская церковь была перестроена в мечеть. С этого времени Тараз оказался в составе государства Саманидов. В VIII—X веках город входил в состав Карлукского ханства. В 999 году край завоевали Караханиды, покончившие с династией Саманидов. Наибольшего расцвета древний Тараз достиг в XI—XII веках при Караханидах, являясь столицей их царства.

Письменных сведений о завоевании Тараза монголами нет, но, повидимому, в 1220 году город оказал монголам значительное сопротивление, почему и был разрушен ими до основания, о чём свидетельствуют следы пожарища, обнаруженные при раскопках. Город, видимо, был переименован монголами в Яны (Новый), поскольку при дальнейшем упоминании его, как европейские, так и арабские источники указывают: «…город Яны, называвшийся до завоевания Таразом». В XIII—XV веках город входил в состав Чагатайского улуса Монгольской империи, а в период с 1465 по 1718 годы был одним из городов Казахского ханства. В 1723 году Таласская долина, как и большая часть южных областей нынешнего Казахстана, была завоевана джунгарами, которые  владели ею почти до 1756 года. В XVIII—XIX веках входил в состав Кокандского ханства.

В 1856 году город был переименован в Аулие-ата (Святой дед). Это название он получил в честь Карахана, основателя династии Караханидов. Его мавзолей  находится в географическом центре современного Тараза. В ходе завоевания Россией территории Средней Азии, в 1864 году город был захвачен русскими войсками под командованием полковника М.Черняева. Довольно полное описание города в начале ХХ столетия даётся в труде «Россия. Полное географическое описание нашего отечества». Отмечается, что в Аулие-Ате имелись большой базар, ярмарка и ряд транспортных контор. Город состоял из русской и азиатской частей. В нём были три церкви, 21 мечеть, почтово-телеграфная контора, городское училище, больница, военный госпиталь, 17 фабрик и заводов, 1791 жилой дом, 19052 жителя.

Свое новое развитие город получил в советское время. В 1917 году через него была проложена Семиреченская железная дорога от Арыси до Верного (ныне Алматы – Прим. ред.), что ускорило его развитие. В 1930 году эта дорога стала  частью Туркестано-Сибирской магистрали. В XX веке наш город несколько раз менял свое название. В 1936-38 г.г. он носил имя Первого секретаря ЦК КП(б) Казахстана Левона Мирзояна, который впоследствии был репрессирован и расстрелян 26 февраля 1939. В 1938 году город из Мирзояна был переименован в Джамбул, по имени замечательного казахского поэта Джамбула Джабаева.

В 1991 году Казахстан обрел государственный суверенитет и независимость.  4 мая 1993 года Постановлением Президиума Верховного Совета Казахстана транскрипция названия Джамбулской области на русском языке была изменена. Область стала назваться Жамбылская область, а город Джамбул стал Жамбылом. 8 января 1997 года Указом Президента Казахстана «учитывая ходатайства местных исполнительных органов и пожелания общественности  Жамбылской области, на основании заключения Государственной ономастической комиссии при Правительстве Республики Казахстан» город Жамбыл переименован в город Тараз. Историческое имя украсило герб областного центра. Осенью 2001 года Тараз отметил большой праздник: городу исполнилось 2000 лет, что официально признано ЮНЕСКО.