Įvairūs istoriniai šaltiniai byloja, kad Kauno pilis – seniausia mūrinė pilis Lietuvoje. Tačiau iki ją pastatant, būsimoje pilies vietoje jau IV–V amžiais būta medžio ir molio gynybiniais įrenginiais apjuostos gyvenvietės.
Tik XIV amžiuje buvo pastatyta pirmoji mūrinė Kauno pilis, tapusi vienu svarbiausių atsparos taškų lietuvių kovose prieš kryžiuočius. Ji pirmą kartą paminėta kryžiuočių ordino magistro Vinricho fon Kniprodės 1361 m. laiške, kuriame prieš rengiantis puolimui įsakoma atsiųsti informaciją apie pilies sienų storį.
1362 m. pavasarį, kai pagrindinės Lietuvos karinės pajėgos buvo koncentruojamos kovai su Aukso Orda, Kauno pilį apgulė didelė ir gerai pasirengusi kryžiuočių kariuomenė. Priešai atsigabeno apgulos mašinų, išsikasė griovį nuo Nemuno iki Neries, supylė pylimą ir surentė aštriakuolių tvorą. Kauno pilis buvo visiškai blokuota. Prasidėjo ilgas ir planingas pilies puolimas. Kryžiuočiai užpylinėjo pilies gynybinius griovius, veržėsi kuo arčiau pilies sienų. Kęstučio sūnaus Vaidoto vadovaujama lietuvių įgula atkakliai gynėsi. 1362 m. kovo mėnesį, po trijų savaičių apsiausties, kryžiuočiai pilį sugriovė.
Kryžiuočiams pasitraukus, buvusios pilies vietoje lietuviai įrengė laikinus įtvirtinimus iš žemės ir molio. Iki 1368 m. buvo sumūryta antroji pilis ant buvusios vidinių sienų pamatų. Pilis gynybinę reikšmę prarado po Žalgirio mūšio, kuomet buvo galutinai palaužta kryžiuočių karinė galia.
