Nemuno ir Veliuonėlės santakoje, apie 30 m aukščio kalvoje, vienas šalia kito dunkso du piliakalniai – Gedimino kapo ir Pilies kalnai. Apie didžią Veliuonos praeitį primena nebylūs liudininkai – vos keletą sau prilygstančių Lietuvoje turįs gynybinių įrengimų kompleksas. Iš kur kilo Veliuonos miestelio ir upelio pavadinimai? Anot viduramžių legendos, Veliuonoje stovėjusi mirusiųjų deivės Veliuonos šventykla. Kalbininkai žodžio šaknį „vel-“ sieja su senovės lietuvių pomirtinio gyvenimo įvaizdžiais, vėlėmis ir jų valdove Veliuona. Veliuonos miestelis, išaugęs vieno galingiausių visos Lietuvos gynybinių kompleksų priešpiliuose, prie Nemuno prekybinio vandens kelio, ypatingą vietą Lietuvos istorijoje užėmė XIII a. – kryžiuočių grėsmės akivaizdoje. Archeologiniai radiniai liudija, kad XII – XIII a. čia galėjo būti ne tik vietinės prekybos, bet ir prekybos su kitomis valstybėmis centras. Ties Veliuona, upelių klonių nuo visos aukštumos atidalintame Nemuno slėnio aukštame šlaite, yra beveik 2 km ilgio laivelio pavidalo Margio kalnas. Jo smaigalį atidalijant skersinėmis perkasomis, buvo kuriami patogūs gintis piliakalniai ir papiliai. Tiesa, XIII a. Veliuonos vardas rašytiniuose šaltiniuose dar neminimas – spėjama, kad anksčiau ši vietovė vadinta Junigėda ir tik nuo 1315 m. pradėta vadinti Veliuonos vardu (kai kurie istorikai mano, jog tai buvo dvi skirtingos pilys). Tikslios datos, kada statyta Veliuonos pilis, nėra. Vienų šaltinių liudijimu, tai buvo 1245 m., kiti pilies statybos pradžia laiko 1251 m. K. Sidaravičiaus teigimu, svarbiausioji tvirtovė atsparai prieš kryžiuočių ekspansiją iš Ragainės pradėta statyti 1291 m. balandžio mėn., vietoj apleidžiamos Kolainių pilies. Veliuonos pilis, apjuosta 4 m gylio perkasa, stovėjo ant 32 m stačiašlaičio nupjauto kūgio pavidalo Pilies kalno. Aikštelės plotas – apie 3200 m2. Nepaisant dažnų puldinėjimų, Veliuonos pilį kryžiuočiams pavyko paimti tik 1348 m. Tačiau jau 1349 m. ji buvo atkovota ir atstatyta. Skaudus smūgis Lietuvai buvo suduotas 1362 m., kai kryžiuočiai sugriovė Kauno pilį, o grįždami panemune atgal sudegino ir Veliuoną. 1364 m. ordino magistras puolė gerai įtvirtintą Veliuoną. Tuo metu pilį saugojo dvigubos sienos, o visas gynybinis kompleksas užėmė dabartinę Gedimino, Pilies (Ramybės), Bažnyčios ir gretimas kalvas, iš visų pusių ginamas papildomo aptvaro. Šiame puolime buvo panaudotos naujos siendaužės mašinos. Po keliolikos dienų pilies priešpiliai buvo paimti, bet jos gynėjai pilies komendantas Goštautas ir bajorai Surminas ir Matevikas su gausia įgula kryžiuočiams nepasidavė. Tuomet sukrovus didžiulius laužus pilis buvo padegta ir jos gynėjams teko pasiduoti. 1367 m. atstatyta pilis vėl buvo užpulta, tačiau šį kartą pilies gynėjai atsitraukdami patys ją padegė. Praradusi Veliuoną Lietuva, anksčiau netekusi Peštvės (Pieštvės) ir Kauno pilių, prarado ir Nemuno žemupio dešiniosios pakrantės apsaugą. (Kairioji buvo prarasta dar XIII a. pab.).
Ruošdamasis karui su Aukso orda ir norėdamas užsitikrinti ramų užnugarį, Vytautas 1398 m. spalio 12 d. pasirašė Salyno sutartį, kuria vakarinė Lietuvos dalis iki Nevėžio upės bei vakarinė Užnemunės dalis atiteko ordinui. Į kryžiuočių rankas perėjo ir Veliuonos pilis, kurią ordino vadovybė pasirinko savo valdžios Žemaitijoje buveine. Tačiau sukilę žemaičiai 1401 m. pavasarį kryžiuočius nustūmė iki Klaipėdos. 1402 m. ordinas ir dėl Lietuvos sosto kovojęs Švitrigaila surengė paskutinį didelį žygį į Lietuvą ir pasiekė net Vilniaus žemes, o 1403 m. – Trakus. 1404 m. gegužės 14 d. Racionžo sutartimi Vytautas diplomatiniais sumetimais vėl užrašė ordinui Salyno sutartimi perleistas žemes. Tačiau kova prieš ordiną išsiplėtė po visą Žemaitiją. Veliuonos pilies vietoje pastatyta Friedenbergo pilis 1404 m. ar 1405 m. buvo sudeginta. 1411 m. vasario 1 d. pasirašyta Torūnės sutartimi Žemaitija iki Vytauto ir Jogailos mirties liko Lietuvai, tačiau nebuvo nustatytos nei teritorinės ribos, nei Klaipėdos statusas. Tai tapo naujų ginčų ir konfliktų priežastimi. 1412 m. Ragainės komtūrui buvo pranešta, kad Vytautas prie Nemuno atstatė dvi stiprias pilis – Peštvės (Pieštvės) ir Veliuonos. Veliuonos pilyje jis įkurdino 400 vyrų įgulą, vadovaujamą seniūnų Mingailos ir Kareikos. Prie pilies buvo įrengti trys priešpiliai. 1413 m. konfliktas vis aštrėjo, vėl prasidėjo puldinėjimai, kol 1414 m. liepos 18 d. Vytautas su Jogaila paskelbė ordinui karą ir jungtinė Lietuvos – Lenkijos kariuomenė įžengė į ordino valdas. 1414 m. spalio 7 d. Strazburge, tarpininkaujant popiežiaus legatui, dvejiems metams buvo sudarytos paliaubos. 1418 m. gegužės 15 d. išsiskirstęs Konstancos susirinkimas neišsprendė Žemaitijos klausimo, o tik pratęsė paliaubas su ordinu. Tuo laikotarpiu Veliuona sparčiai augo. Tapusi pavieto centru, ji pradėta vadinti miestu. 1416 m. spalio 15–17 d. Veliuonoje sušauktos naujojo Livonijos magistro derybos nebuvo sėkmingos. Į antrąjį susitikimą Veliuonoje 1418 m. spalio 13–22 d. Jogaila atplaukė Nemunu iš Gardino, prie jo Darsūniškyje prisijungė ir Vytautas. Tačiau ir antrosios derybos nebuvo sėkmingos. Konfliktą ėmėsi spręsti du didžiausi to meto Vakarų Europos autoritetai – popiežius ir imperatorius Zigmundas. Pastarasis 1420 m. sausio 6 d. Breslau priėmė sprendimą, paremtą Torūnės sutartimi, kuriuo beveik visos Veliuonos žemės atiteko ordinui. 1420 m. rugsėjo 8–11 d. Veliuonoje įvyko trečiosios ordino ir Lietuvos derybos, bet jos ir vėl tik pratęsė paliaubas. Lietuva pradėjo ruoštis karui ir 1422 m. liepos 14 d. jį paskelbė. Po didelių kovų 1422 m. rugsėjo 27 d. buvo pasirašyta Melno taika, kuria ordinas visam laikui atsisakė Sūduvos (Suvalkijos) ir Žemaitijos su Veliuona, bet gavo Klaipėdos kraštą (Lietuvai liko tik Palangos pajūris). Taip sužlugo ordino viltys turėti sausumos kelią tarp Prūsijos ir Livonijos. 1423 m. gegužės 9 d. Veliuonoje sušauktas suvažiavimas Melno taikos sutarčiai įgyvendinti taip pat netapo kovų su ordinu pabaiga. Ilgalaikė taika su ordinu nusistovėjo tik po 1454–1466 m. karo. Nuo tada Veliuona, XV a. išgyvenusi karinio, politinio ir ekonominio vaidmens kulminaciją, prarado turėtą strateginę reikšmę. Prie to iš dalies prisidėjo ir parapijos Veliuonoje steigimas ir bažnyčios statyba. Manoma, kad pirmosios Veliuonos bažnyčios, statytos maždaug 1421 m. ant vieno iš papilių, statybą finansavo Vytautas ir Jogaila. XVIII a. LDK kancleris ir Veliuonos seniūnas A. S. Radvila bažnyčią apmūrijo degtomis plytomis. Pakito ir Veliuonos architektūra. Iki tol dominavusius tvirtovės ir gynybinio komplekso elementus pakeitė ištisas aukštutinės Veliuonos architektūrinis ansamblis, kuriame vis dėlto išliko gynybinių įrengimų kompleksas.