Le mouvement handisport existe à Brest depuis Avril 1970. Tout d’abord, il est une section sportive de l’APF (Association des Paralysés de France) puis en 1981, il devient le club sportif pour handicapés physiques de la région Brestoise, toujours dans les locaux de l’Association des Paralysés de France (A.P.F.)

Les sports proposés étaient : la natation, le tennis de table, le tir aux armes, le basket qui a rapidement immigré à Lesneven.

En 1985 est créé la section sportive du Patronage Laïque du Pilier Rouge à Brest qui devait favoriser le développement et unir les compétences dans les sports pour handicapés physiques et mentaux.

Le club Handisport Brest prend son indépendance en 1993 et devient l'association Handisport sport adapté de Brest, il est affilié aux deux fédérations : la Fédération Française Handisport et la Fédération Française des Sports Adaptés (une particularité en France). Ceci jusqu'à l’assemblée générale extraordinaire du 27 octobre 2007 au cours de laquelle le club prend sa dénomination  actuelle : Handisport Brest communément appelé : Handi-Brest.