Francis “Frank” Bannerman VI |
Sin embargo, sus almacenes en el corazón de Nueva York no eran el mejor lugar para almacenar treinta millones de cartuchos españoles. Si explotaban, destruirían toda la manzana y las viviendas cercanas, por lo que Bannerman comenzó a buscar un emplazamiento menos peligroso para su nuevo almacén. La isla Pollepel era perfecta para sus planes, con sus 2,5 hectáreas de roca y alejada 300 metros de la costa del Hudson parecía reunir todos los requisitos. Bannerman compró la isla en 1900; su objetivo era construir un arsenal en el que almacenar toda la munición que después vendería por correo.
La muerte de Bannerman en 1918 supuso el comienzo del fin. La construcción se detuvo y dos años mas tarde explotarían varios kilos de proyectiles y pólvora destruyendo la mitad del edificio. Se cree que la explosión fue causada por un rayo que golpeó el hasta de una bandera.
En 1950, un carguero que pasaba por la zona, se quedó atrapado en mitad de una fuerte tormenta sobre el río Hudson. Finalmente, el barco se estrelló contra la isla, explotó tras el impacto y causó aún más daños en lo que quedaba del edificio. El barco naufragado se llamaba "Pollepel" y dio su nombre actual a la isla (aunque muchos la siguen llamando la "Isla de Bannerman").
Tras el último desastre, la isla quedó deshabitada y el Estado de Nueva York finalmente decidió comprar la isla en 1967. Pero se ve que los espíritus malvados de los que hablaban los nativos, aun no habían acabado de dar su merecido a este desafortunado edificio. Dos años después, se produjo un gran incendio y los techos y pisos colapsaron quedando todo el edificio completamente destruido; la estructura ya era demasiado insegura por lo que se decidió prohibir el acceso a la isla para evitar accidentes.
Hoy en día es implanteable reconstruir el castillo (tampoco parece que su valor artístico lo justifique) por lo que constituye un maravilloso monumento a lo efímero, un recordatorio de que quien juega con fuego, al final, se quema.