Die Gemeinde Albershausen kann heute auf mehr als 700 Jahre Geschichte zurückblicken. Ein genauer Gründungszeitpunkt ist nicht bekannt. Die Gemeinde wird jedoch in einem Beleg aus dem Jahre 1275 erstmals erwähnt.

Jungsteinzeitliche Funde lassen vermuten, dass bereits 3 Tausend bis 1800 vor Christi Geburt Menschen die Albershäuser Markung durchstreiften und vielleicht auch bereits darauf siedelten.

Schon um etwa 1700 waren sehr wahrscheinlich alemannische Grabbeigaben entdeckt, doch in ihrer Bedeutung nicht erkannt worden. Die dann alsbald um diesen Fund entstandene 'Geistergeschichte' ist von Erich Hänßler im Beitrag 'Die Albershäuser Geister und ihre Eigenheiten' geschildert. Durch diese Funde weiß man, dass etwa 700 und 800 nach Christi Geburt auf der Markung, wohl in dem Gebiet des Ortskerns, Alemannen siedelten.

Der Ortsname bezieht sich wahrscheinlich auf einen Personennamen eines Alber oder Albheri. Die Albershäuser Pfarrbeschreibung von 1828 dürfte somit mit ihrer wohl aus der damaligen mündlichen Überlieferung entnommenen Feststellung "laut einer vorgefundenen Urkunde ohne Jahreszahl war der Erbauer und Besitzer des ersten Hauses von dem gegenwärtigen Albershausen ein gewisser Johannes Alber" bezüglich des Namens Alber recht haben. Der Ortsname wurde darüber hinaus auch schon mit dem Flurnamen "Vor Albers Holz" bei Schlierbach in Verbinung gebracht. Dieses an der Markungsgrenze zu Albershausen, westlich vom "Tannengarten" gelegene Waldstück erscheint urkundlich in dem Jahre 1484 als "Albernholz".

Das Wappen der Gemeinde Albershausen ist das einzige Buchstabenwappen in dem Kreis Göppingen. In dem Jahr 1935 berichten der Ober- und Untervogt zu Göppingen, dass die von Albershausen "kein Schild noch Wappen haben". Die 1930 gebrauchten Dienstsiegel des Schultheißenamtes und des Gemeinderats enthalten als Siegelbild ohne Schild den Großbuchstaben A, darunter eine Tulpe mit zwei Blättern. Wann diese Symbole, von denen sich der Buchstabe auf den Ortsnamen bezieht, angenommen wurden, ist nicht bekannt (Wappenbuch des Landkreises Göppingen). Das Wappenbild taucht allerdings schon vor 1930 auf Marksteinen und Marksteinzeugen auf.

Ein bruchstückhafter Nekrolog (Gedächtnisbuch) des Klosters Adelberg bezeichnet uns unter den verschiedenen Wohltätern des Klosters einen "Rienhart de Albershusen". Sehr wahrscheinlich handelt es sich bei ihm um den Angehörigen eines sonst nirgends bezeugten Albershäuser Ortsadels. Verschiedene Umstände deuten darauf hin, dass er in dem 13. Jahrhundert gelebt hat. Vielleicht hatte sein Geschlecht auf der einst östlich des Schafhofs gelegenen Burg seinen Sitz. Heute erinnert ca. noch der Flurname "Im Burgstall" und "Burgstallfeld" an dieses Bauwerk. Da zu einer Burg normalerweise eine Mühle gehörte, könnte es sein, dass die 1634 an der Stelle des Schafhofs niedergegangene so genannte Albershäuser- oder Schenkenmühle diese Burgmühle war.