Le 13 mars 1941, pendant les préparatifs de l'invasion de l'URSS, le generalfeldmarschall Wilhelm Keitel rédige une série d’« ordres pour les zones spéciales » : « Dans la zone des opérations armées, au reichsführer SS Himmler seront confiées, au nom du Führer, les tâches spéciales en vue de préparer le passage à l’administration politique — tâche qu'impose la lutte finale qui devra se livrer entre deux systèmes politiques opposés.
Dans le cadre de ces tâches, le reichsführer SS agira en toute indépendance et sous sa propre responsabilité ». Plus clairement, il est décidé que des unités mobiles du RSHA, les einsatzgruppen, seraient chargées d'exterminer les Juifs — ainsi que les Tziganes, les cadres communistes, voire les handicapés, et les homosexuels. Ce passage aurait été dicté par Hitler en personne.
Au 1er mai 1941, 168 972 Juifs vivent en Allemagne.
A partir du 22 juin 1941, l'Allemagne envahit l'Union soviétique. Les Einsatzgruppen, ces unités de police politique militarisées du IIIe Reich, créées dès l’Anschluss, et chargées, à partir de l'invasion de la Pologne, de l'assassinat systématique des opposants, passent à l'action. Au début, ils exécutent, surtout, des hommes juifs. Puis, la violence meurtrière se déchaîne, à une échelle sans précédent : ce sont près de 1 500 000 Juifs qui sont fusillés. On appellera ce massacre : « Shoah par balles ».
Les einsatzgruppen trouvent une aide plus importante et plus durable en formant des bataillons auxiliaires dans la population locale, dès le début de l’été 1941. Ils ont été créés, pour la plupart, dans les pays baltes et en Ukraine. L’einsatzkommando 4 (de l’einsatzgruppe C) décide ainsi de ne plus fusiller que les adultes, les Ukrainiens se chargeant d’assassiner les enfants. Quelquefois, la férocité des collaborateurs locaux effraie jusqu’aux cadres des einsatzgruppen eux-mêmes.
À l'été 1941, Budapest fait déporter 18 000 Juifs de Hongrie « apatrides » en Ukraine, sur les arrières du front russe. Les 27 et 28 août, plus de 10 000 d'entre eux sont exterminés par l'Einsatzgruppen C à Kamianets-Podilskyï, premier massacre de Juifs à atteindre les cinq chiffres, et étape-clé dans le passage à l'extermination à grande échelle. Seuls 2 000 à 3 000 de ces premiers déportés hongrois survivent à l'été. À la suite de cet épisode, le gouvernement suspend les expulsions en zone allemande. Mais l'armée hongroise exécute de son côté un millier de Juifs dans les territoires annexés à la Serbie, et surtout, elle impose aux Juifs de Hongrie un « Service du travail » aux armées particulièrement meurtrier : les victimes de ce service ne sont pas officiellement des déportés, et elles conservent par exemple leurs biens et leurs domiciles en leur absence, mais de fait, plus de 42 000 personnes emmenées ainsi travailler en Ukraine occupée y décèdent dès avant le tournant de mars 1944118.
Le 31 juillet 1941, le dirigeant SS Reinhard Heydrich reçoit, signé par Hermann Göring, numéro 2 du régime, un ordre officiel secret, qui lui confie la recherche, et la mise en œuvre, d'une « solution finale au problème juif ». Sans doute vers la fin de l'été, Adolf Eichmann est convoqué dans le bureau de Reinhard Heydrich, qui lui dit : « Je sors de chez le reichsführer Heinrich Himmler ; le führer Adolf Hitler a maintenant ordonné l'extermination physique des Juifs. »
Mais à partir de la fin de l'été 1941, les meurtres de masse sont étendus aux femmes et aux enfants.
De passage à Minsk, le 15 août 1941, Heinrich Himmler, un des plus hauts dignitaires du Troisième Reich, reichsführer-SS, maître absolu de la SS, chef der deutschen Polizei (chef de toutes les polices allemandes, dont la Gestapo), assiste à une opération mobile de tuerie. Ébranlé par le massacre, mais pénétré de l'importance supérieure de ces actes, il demande à ses subordonnés de chercher un moyen moins traumatisant pour les SS de remplir leur mission.
À l'été 1941, Budapest fait déporter 18 000 Juifs de Hongrie « apatrides » en Ukraine, sur les arrières du front russe. Les 27 et 28 août, plus de 10 000 d'entre eux sont exterminés par l'Einsatzgruppen C à Kamianets-Podilskyï, premier massacre de Juifs à atteindre les cinq chiffres, et étape-clé dans le passage à l'extermination à grande échelle. Seuls 2 000 à 3 000 de ces premiers déportés hongrois survivent à l'été. À la suite de cet épisode, le gouvernement suspend les expulsions en zone allemande. Mais l'armée hongroise exécute de son côté un millier de Juifs dans les territoires annexés à la Serbie, et surtout, elle impose aux Juifs de Hongrie un « Service du travail » aux armées particulièrement meurtrier : les victimes de ce service ne sont pas officiellement des déportés, et elles conservent par exemple leurs biens et leurs domiciles en leur absence, mais de fait, plus de 42 000 personnes emmenées ainsi travailler en Ukraine occupée y décèdent dès avant le tournant de mars 1944118.
Certes, à plusieurs reprises, le régent Horthy se refuse à éliminer les Juifs de la vie du pays, pas plus qu'il n'accepte les demandes répétées de Hitler de les déporter ou de leur faire porter l'étoile
À Auschwitz-Birkenau, l'emploi de zyklon B (qui tue 36 fois plus rapidement que le monoxyde de carbone) est testé sur des prisonniers soviétiques dès le 3 septembre 1941. Début 1942, le commandant du camp, Rudolf Höß, reçoit verbalement l'ordre de Himmler de faire du camp, idéalement situé à un nœud ferroviaire, le principal centre de l'extermination des Juifs déportés de toute l'Europe. Plusieurs Krematorium y sont construits, associant les chambres à gaz à des fours crématoires de grande capacité destinés à faire disparaître les corps.
Ainsi le 15 octobre, près de 5 000 Juifs de Berlin, Munich, Francfort, Vienne, ou Breslau, sont déportés en Lituanie, et fusillés par les einsatzgruppen, dès leur descente du train. Le 18 octobre, d'autres convois quittent Prague, Luxembourg ou Berlin. Tout le Grand-Reich est, maintenant, concerné.
Le 23 octobre 1941, Himmler interdit officiellement l’émigration des Juifs hors d'Europe. Ne reste donc plus ouverte que l’option de l'extermination. La même année, la construction de Bełżec est lancée ainsi que l'agrandissement du camp d'Auschwitz.
L'extermination de la totalité des Juifs d'Europe est décidée, dans le courant de l'automne 1941. C'est le passage décisif d'un judéocide, jusque-là localisé en URSS, à un génocide industriel planifié, qui s'étend aux Juifs allemands, puis à ceux de toute l'Europe occupée, déportés dans les ghettos mortifères de l’Est, voire dans les zones de massacre en URSS. 80 convois partent ainsi du Reich avant fin 1941. Dans des conditions épouvantables, 72 trains acheminent leur chargement humain dans des ghettos où les fusillades ont libéré de la place.
À Terezín, dans les Sudètes, les nazis ouvrent même, le 24 novembre 1941, un camp-modèle, destiné à berner, avec succès, les représentants de la Croix-Rouge. Ce ghetto surpeuplé, où les familles ne sont pas disloquées, ni le travail forcé imposé, offre des conditions de vie dures, mais peu mortifères, et relativement privilégiées, par rapport à ce que les Juifs connaissent ailleurs.
Le 7 décembre, le premier camp d'extermination est ouvert à Chełmno, en Pologne annexée : de fusillades « artisanales », la tuerie passe à l'échelle industrielle. Les victimes, emmenées, de tout le Warthegau, dirigé par le fanatique gauleiter Arthur Greiser, sont enfermées dans des camions à gaz où elles meurent lentement asphyxiées par les fumées d'échappement, dirigées sur l'intérieur du véhicule. En sept mois, plus de 100 000 personnes trouvent ainsi la mort.
C'est ainsi que les premiers camions à gaz sont testés. À partir de décembre 1941, deux à trois camions à gaz sont envoyés dans chaque einsatzgruppe. Le procédé est toujours le même. Les camions sont garés à l'écart. Des groupes de 70 juifs en linge de corps s'entassent à l'intérieur. Les gaz d'échappement sont déversés à l'intérieur faisant suffoquer les victimes. Les camions roulent ensuite jusqu'au fossé où les corps inanimés sont jetés. Mais la pluie met à mal l'étanchéité des camions. Les hommes souffrent de maux de tête en déchargeant les camions, car tous les gaz d'échappement ne se sont pas dispersés. La vision des visages défigurés des asphyxiés stresse les SS. La première vague de massacres s'arrête, pour l'essentiel, à la fin de l'année 1941. Une deuxième vague de tuerie s'amorce dès la fin de l'année 1941, dans les régions de la Baltique.
La ghettoïsation est achevée, pour l’essentiel, au cours de l’année 1941. Le plus ancien ghetto est le ghetto de Łódź, le plus grand, celui de Varsovie. À l’intérieur même du ghetto, les mouvements des Juifs sont limités : ils doivent rester chez eux de dix-neuf heures à sept heures. La surveillance extérieure est assurée par la police régulière et la surveillance intérieure par la Police de sûreté (Gestapo et Kripo), elle-même renforcée par la police régulière, à la demande de cette dernière. À partir de décembre 1941, les survivants des ghettos sont déportés vers les centres de mise à mort. Les premiers sont les Juifs du Wartheland, envoyés à Chełmno.
Lorsque la guerre devient mondiale, en décembre 1941, avec l'agression japonaise à Pearl Harbor, et la déclaration de guerre du Reich aux États-Unis, Hitler et son entourage se persuadent qu'il faut « punir » les Juifs, jugés responsables de la guerre, que l'Axe a elle-même provoquée, et donc vus comme coupables des pertes allemandes au front, et des bombardements sur ses villes.