La ciutat va ser creada al voltant de l'estació de ferrocarril de Griazi, oberta el 1868, en la línia de Vorónej-Kozlov-Orlov-Griazi-Tsaritsin. El nom de la ciutat significa literalment fangs, i fa referència a la terra negra típica de la regió (txernozem en rus). Durant la dècada del 1930 la població tenia 25.000 habitants, i va rebre l'estatus de ciutat el 4 de desembre de 1938.
La situació demogràfica de Griazi s'ha vist deteriorada de 1990 ençà. El 2001 el creixement demogràfic va patir un dèficit de més de 10/1000 (taxa de natalitat de 7,5/1000 i la taxa de mortalitat de 17,7/1000).