Placé au milieu de courants irascibles, l’abordage comme le travail y étaient des actes pour ainsi dire suicidaires. De nombreux essais furent tentés sans résultat. Les " Phares et Balises " allaient renoncer lorsque le Syndic des gens de mer de l’Ile de Sein, un dénommé Thymeur, accosta et grimpa seul sur l’Ar Men. Il parvint au prix d’efforts surhumains, à mesurer le rocher dans les remous et les vents qui balayaient constamment le granit. Il calcula ainsi que la plus grande longueur n’excèdait pas 15 m sur 7 m de large. La construction du phare allait pouvoir commencer.

Après avoir creusé le granit de 55 trous (2 ans de travail en 26 accostages), il fallu faire les travaux de maçonnerie. Le ciment à prise rapide était directement gâché à l’eau de mer. Un marin faisait le guet et prévenait de se cramponner à l’approche des trop grosses vagues. Entre deux assauts, il fallait se dépêcher de maçonner en priant pour que la mer n’arrache pas les pierres posées avant que le ciment ne sèche.

L’aventure dura 21 ans et, dans des conditions aussi éprouvantes, ne fera qu’un seul  mort, un maçon de la Pointe du Raz, Alain Riou, dont la ceinture de liège, mal fixée, se détachera sous le coup d’une lame de fond.