Técnicamente eso no es cierto: Japón probó armas biológicas en China contra civiles, y hubo un solo incidente de gas mostaza en Europa en 1939 … Curiosamente no por Alemania, sino por Polonia: Alemania decidió no tomar represalias porque Polonia fue golpeada lo suficientemente rápido de todas formas.
Por qué no hubo un uso a gran escala es una pregunta difícil: al menos en Europa probablemente se debió a la experiencia de la Primera Guerra Mundial, todas las partes tenían experiencia en estar en el extremo receptor de un ataque de gas. Además, Alemania temía que los aliados también hubieran progresado en los gases nerviosos (no lo hicieron, solo se enteraron de ellos en 1945) y se dieron cuenta de que era imposible defender ciudades enteras contra nuevas armas como Sarin, que habría matado gente en los refugios antiaéreos … Los Aliados OTOH solo tenían armas de campo de batalla, pero esas no son tan útiles tácticamente cuando avanzas (ya que tendrías que atravesar el área que acabas de envenenar)