Annak idején Bannerman saját maga tervezte meg a várat és az azt körülvevő épületeket. A vár a sziget legmagasabb pontján áll és tisztán látható a folyó partjáról. Oldalán hatalmas felirat ékeskedik: “Bannerman’s Island Arsenal”.

1967-ben a szigetet és a várat megvásárolta New York állama és miután a katonai raktárakat eltávolították, megnyitották a területet a nagyközönség előtt. 1969. augusztus 8-án azonban egy tűzvész teljesen elpusztította az Arsenal-t és emiatt a szigetet be kellett zárni. Romjai még mindig láthatók. Lassú magányra, pusztulásra van ítélve.