Die 126te wurde Mitte Oktober 1940 hauptsächlich aus Teilen der 11. I.D. (Abgabe der III. Bataillone der Infanterie-Regimenter 2,23,44) und der 253. I.D. (Abgabe der III. Bataillone der Infanterie-Regimenter 453,464,473) unter der Führung des Generalleutnants Paul Laux im Wehrkreis VI (Münster) aufgestellt.

Das Artillerie-Regiment 126 entstand aus Teilen der Artillerie-Regimenter dieser beiden Divisionen.

Die Aufklärungs-Abteilung stammte aus der Aufkl.Abt.16, die von der 16. I.D. kam (welche motorisiert wurde).

Das Pionier-Bataillon 126, die Panzerjäger-Abteilung 126, sowie die Nachrichten-Abteilung 126 stammten ebenfalls aus Abgaben der 11. I.D. und 253. I.D.

Veterinär, Futtermeister und Pferdepfleger stammten aus der I.D. 36. (die ebenfalls motorisiert wurde).

Somit bestand die Division aus einer bunten Mischung verschiedenster Herkunft.
Die Teile von der 11. I.D., die mit Zügen aus Frankreich herangebracht wurden, stammten aus Ostpreußen. Die Teile der 36. I.D. aus der Pfalz. Der Stamm setzte sich aus Teilen der 253. I.D. (die ebenfalls aus Frankreich herankamen) und Soldaten aus dem Rheinland und Westfalen zusammen.

Die einzelnen Regimenter wurden im Sennelager untergebracht. Ein Regiment im Hauptlager, eins im Lager Staumühle und eins im Lager Augustdorf.

Das Artillerie-Regiment kam auf dem Truppenübungsplatz unter. Die Pioniere kamen nach Höxter, die Panzerjäger nach Hamm, die Aufklärung nach Neuhaus (Paderborn). Die Nachrichtenabteilung kam nach Bielefeld und später nach Blomberg. Die Versorgungstruppen hielten sich im Raum Bad Sassendorf (Soest) auf. Der Stab verblieb zunächst im Hauptlager und dann in Bad Driburg.

Mitte Oktober 1940 begann die Ausbildung. Mitte Februar 1941 begab sich die Truppe in einem Fußmarsch in den Raum Hannover-Hameln-Hildesheim. Anfang April 1941 wurde die Division in einer mehrtägigen Eisenbahnfahrt nach Ostpreußen in den Raum Königsberg verlegt. Mitte Mai 1941 wurde die Truppe in mehreren Nachtmärschen an die Grenze in den Raum Haselberg geführt und übernahm auf etwa 25 km Breite südlich der Memel die Grenzsicherung. Schon hier stand der Angriffstermin am 22.6.1941 fest. Worüber aber nur der Stab in Kenntnis gesetzt wurde.