A rajta átfolyó Gyöngyös-patakról kapta a nevét, amelynek mai alternatív neve Nagy-patak, és a Gyöngyös névváltozata először 1284-ből adatolható Gungus alakban. Ez az országban sok helyen előforduló pataknév olyan vízfolyást jelöl, amelynek partján sok volt a fagyöngy, amelyből madárfogó lépet főztek, és ínséges időben takarmányozásra is használtak, vagy amelyben bőven tenyészett a folyami gyöngykagyló.

Gyöngyöst valószínű, hogy Kr. u. 700-800 év között az avarok alapították, nyomaik máig megtalálhatók az általuk épített, avargyűrűk néven ismert egykori kőgátaknak formájában.

A település nevét először 1299-ben említik Gywngus alakban. További Árpád-kori névformák: Gunges, Gyunges, Gyungus. E idékéről Anonymus elbeszéléséből vannak az első ismert adatok; melyek szerint Árpád vezér a honfoglaláskor Ede és Edömér kun vezéreknek a Mátra erdejében és annak vidékén nagy földet adott, ahol az ő unokájuk Pata várat épített. Később Pata nemzetségéből származott Sámuel király, akit kegyességéért Abá-nak (apa) neveztek. 

Gyöngyös és környéke ekkoriban az Aba nemzetség Csobánka ágának birtokában volt. V. István ifjabb király 1267 évi adománylevele szerint, Halászt (Gyöngyöshalászt), Jánosnak, Csobánka fiának adományozta, mint a hevesi várhoz tartozó birtokot, az isaszegi ütközetben szerzett érdemeiért.

Csobánka László még 1299 nyarán hűtlenség és hatalmaskodás miatti perbe keveredett, mely per végeztével Csobánka Lászlót fejvesztésre ítélték, vagyonát pedig elkobozták. A király Gyöngyöst és Bene várát Széchenyi Farkasfia Tamás erdélyi vajdának adományozta, aki Gyöngyöst hamarosan védfalakkal, tornyokkal és kapukkal látta el, városi rangot adva neki. Mára ennek az erődítéseknek nyoma sem látható; a benei, csapó, tóutczai és solymosi kapukat a fény- és kis-kapuval együtt részben a 19. század elején rombolták le.

Károly Róbert király 1334-ben várossá nyilvánította Gyöngyöst, elsősorban az észak, északkeleti irányba kibontakozó borkereskedelemnek köszönhetően. 1455-ben Gyöngyös felét László szécsényi vajda fia, több más birtokkal együtt eladta 40.000 forintért az ekkor már nagy hatalomra és dicsőségre emelkedett Gúthi Országh Mihálynak; gyöngyösi birtoka másik részét pedig zálogba adta Losonczy Albertnek, aki azt zálog címen harminc évig bírta. Mátyás király 1490-ben bekövetkezett halála után a város urai II. Ulászló pártjához szegődtek s így Gyöngyös is részese volt a pártos harczok kellemetlenségeinek, a vidékét teljesen elpusztították.

A település 17. századi állapotát híven tükrözi egy útleírás, mely említi a tiszta utcákat, a sok kereskedőt, a bájos lányokat és a „zafírhoz hasonló színű” tüzes, zamatos borokat, melyeket még a törökök is szívesen kóstolgattak. A Rákóczi-szabadságharc idején a városban folytatott tárgyalást a fejedelem a császár követével. A leghíresebb kuruc tábornokot, a pestisben meghalt Vak Bottyánt a ferencesrendi templomban temették el. A templom környékét nemrégiben átépítették, jelentősen megváltoztatva így a térség arculatát.

A város 20. századi történelmének szomorú eseménye az 1917 májusában bekövetkezett tűzvész, amely a lakóépületek nagy részét elpusztította. Az újjáépítés során alakult ki a mai harmonikus, egységes városkép. A nevezetes épületeket, templomokat, lakóházakat rangjukhoz méltó módon átépítették. A város sokáig katonaváros volt 1950 től (Lövész hadosztály) egészen 1991. október 10-éig amikor a helyőrség bezárta kapuit.