Des vestiges de fondations et de tuiles d'une villa romaine au sud du village indiquent que Sandweiler existait déjà à l'époque romaine. Dans l'acte de fondation de l'abbaye Munster du Comte Conrad 1er du 6 juillet 1083, le nom "Santwilre", à l'origine du nom actuel de Sandweiler, est mentionné pour la première fois; en 1316, on retrouve pour la première fois le nom d'un échevin de Sandweiler.
Sandweiler appartenait aux dépendances de l'abbaye Munster et le territoire de la commune de Sandweiler avait jadis une étendue bien supérieure à celle d'aujourd'hui. Après la révolution française, Sandweiler constituait la localité centrale de la commune à laquelle appartenaient entre autres les localités de Scheidhof, Hamm, Schleifmühle, Cents, Tavion, Kaltgesbrück, Grevelsscheuer, Steppchen, Birelerhof, Höhenhof, Franzosengrund et Neumühle.
En raison de la forteresse de la ville de Luxembourg qui fut avancée au cours des siècles dans les vieilles paroisses de campagne, Sandweiler perdit le Rahmplateau. Le 12 juin 1822, lors de la réorganisation du canton de Luxembourg, les localités de Höhenhof, Münsterbusch et Franzosengrund furent annexées à la commune de Niederanven.
Du 30 janvier au 31 décembre 1873, Paul Godchaux, industriel de la Schleifmühle, occupait le poste de bourgmestre de la commune de Sandweiler. En raison de son engagement, Hamm fut déconnecté de la commune de Sandweiler. Par la loi du 20 décembre 1873, la localité de Hamm avec les lieux Schleifmühle, Pulvermühle, Hammertälchen, Fetchenhof, Cents, Tavion, Scheidgrund et Scheidhof fut transformée en commune autonome à part entière.
En 1939, Kaltgesbrück et Steppchen furent annexés à la commune de Sandweiler. l'annexion du territoire de l'aéroport de Findel à la commune de Luxembourg fut évitée grâce aux efforts des communes de Sandweiler et Niederanven.
Depuis 1960, la Société Nationale de Contrôle Technique est installée à Sandweiler. Dans les années '60, la zone industrielle "Rolach" fut installée et en 1996 la zone commerciale "Op der Hohkaul" vit le jour.
C'est seulement après 1945 que le village va s'étendre par les lotissements "Am Eck", "Réimerwee", "Am Happgaart", "Op der Houscht", "Am Gronn" et "Vir Herel".
Sandweiler a un accès facile à la ville de Luxembourg et aux autoroutes qui mènent dans tous les pays de l'Europe. La gare, l'aéroport et les autoroutes ouvrent grandement aux habitants de Sandweiler les portes du monde. En 1945, Sandweiler comptait environ 800 habitants. Au 31 décembre 1998, le nombre d'habitants se chiffrait à 2'476 et le 4 juin 1999, la commune a pu fêter son 2'500ème habitant.
En septembre 2011, 3'340 habitants (organisés en 1'338 ménages) sont inscrits au bureau de la population de la commune de Sandweiler. La superficie de la commune, composée des sections de Sandweiler et de Findel, mesure 771,46 ha. De par son étendue, Sandweiler compte de nos jours parmi les plus petites communes du Grand-Duché de Luxembourg.