В 1896 году они основали суконную фабрику (позже — Меховая фабрика), производившую по казенным заказам тяжелые шерстяные ткани, армейское сукно, бобрик, драп, трико и другую продукцию. Фирма получала высшие награды на выставках в Лондоне, Париже, Женеве, Вене, а также золотую медаль на выставке в Ростове-на-Дону (1908 год). Фабрика имела магазин в Харькове.

 
В начале ХХ века на предприятии трудилось более трехсот человек. Коллектив был сплоченным из-за того, что большая его часть, в том числе хозяева, принадлежала к молоканской общине. Следуя духу времени, Желтовы большое внимание уделяли благотворительности: при фабрике братьев Желтовых в с. Рассказове был открыт приемный покой, начата постройка больницы, немалые средства передавались в фонды родильных приютов и училищ.

Род Желтовых, уходящий корнями в начало XIX века, являлся ярким представителем тех купеческих родов, которые прошли свой путь становления от крестьян до купцов-фабрикантов. Такой путь могли пройти люди предприимчивые, открытые для новшеств жизни, с цепким умом и неиссякаемой энергией. В истории рода есть и часть истории России, которая неоднократно и круто меняла свой путь развития. Подстраиваясь под менявшиеся экономические и политические условия, Желтовы остались верны избранным идеалам. Даже после революционных событий 1917 года многие из них остались в Рассказове и продолжили дело отцов.

И лишь 30-е годы XX столетия стали для них переломными. Многие из Желтовых были раскулачены, репрессированы и лишены политических прав. Имущество их было конфисковано, предприятия национализированы, а сами они были выселены из своих домов.