A walmeri kastélyt VIII. Henrik építette 1539-40-ben tengerparti erődítménynek, a várt francia invázió elleni védelem számára. A támadás sosem következett be, így a kastélyt csak 1686-ban ostromolták az angol polgárháború idején.