Die Kongregation wurde in Tansania von dem italienischen Missionar Pater Stanislaus Ambrosini aus dem Passionistenorden gegründet. Ihre Anfänge gehen auf das Jahr 1938 zurück, als das erste Haus der entstehenden Gemeinschaft im Dorf Kondoa in der Diözese Dodoma errichtet wurde, wo die ersten Kandidatinnen ihre Vorbereitung auf das Ordensleben unter der Leitung von drei Schwestern der Barmherzigkeit von Verona begannen, die in Tansania tätig waren. Im Jahr 1945 begannen die Postulantinnen das Noviziat, und 1947 legten fünf von ihnen die Ordensgelübde ab. Dieses Datum gilt als offizieller Beginn der Kongregation der Schwestern der heiligen Gemma Galgani.
Die Schwestern der Barmherzigkeit leiteten die junge Gemeinschaft bis 1967, als das Generalkapitel einberufen und die erste Generaloberin aus den Reihen der afrikanischen Schwestern gewählt wurde. Seitdem ist die Kongregation unabhängig geworden und ist nun eine Gemeinschaft diözesanen Rechts, die vom Ordinarius der Diözese Dodoma genehmigt wurde. Gegenwärtig hat die Kongregation etwa 400 Schwestern, von denen etwas mehr als 300 allein in der Diözese Dodoma tätig sind.