El Ayuntamiento de Cangas cedió al Instituto Social de la Marina en 1974 el solar para construir la Casa do Mar. Se valoró en 8.500 pesetas (51 euros). El edificio fue construido con piedra, ladrillo y hormigón armado. Fue inaugurado por los Reyes en su única visita a Cangas.
Albergó los servicios sanitarios del ISM y, con el tiempo, se convirtió en el centro de salud cangués, hasta que las reivindicaciones de médicos y vecinos forzaron a la Xunta a construir un nuevo centro.
En la Casa do Mar permanecieron abiertas las dependencias administrativas del ISM y la sede del club de jubilados. También se instaló Capitanía Marítima y la sede del Organismo Autónomo de Turismo.
El edificio presentó deficiencias severas. Fracasó el intento de reforzar su estructura. Finalmente, se declaró en ruinas. Los últimos en salir fueron los jubilados. Lo hicieron tras jugar la partida rodeados de puntales que soportaban el techo y en medio de una agria polémica entre el entonces alcalde, el popular José Enrique Sotelo, y Vicepresidencia.