Arkivet er oprettet i 1955 som en afdeling af Kerteminde Museum. Initiativtageren var byhistorikeren, politimester V. Woll, der stort set var ene om at drive arkivet de første år. Efter nogle års stilstand blev arbejdet genoptaget af museets formand, lektor Hugo Madsen.
På basis af en privat samling blev Kerteminde Byhistoriske Arkiv oprettet med kommunal støtte i 1973. Under ledelse af Hans Hviid blev arkivet opbygget og indrettet i den gamle toldbygning, Strandgade 3.
I 1991 blev de to arkiver lagt sammen og fik til huse i den tidligere biblioteksbygning, Strandgade 5, hvor arkivet stadig befinder sig.
Under medvirken af Byarkivet blev der i 1980’erne og 1990’erne oprettet lokalarkiver i alle de gamle sognekommuner. Arkivet dækker det gamle Bjerge herred, som stort set svarer til Kerteminde Kommune efter 2007. Kerteminde Egns- og Byhistoriske Arkiv samarbejder og udveksler materiale med lokalarkiverne i Kølstrup, Rynkeby, Revninge, Drigstrup, Mesinge, Martofte, Stubberup, Viby, Munkebo og Langeskov, og Kerteminde Kommune råder således over et usædvanligt finmasket lokalhistorisk netværk.
