Хайнрих Эрхардт родился 17 ноября 1840 года в городе Целла-Мелис, в городе с богатыми оружейными традициями, откуда, например, происходят известные немецкие оружейные фирмы Carl Walther и Anschütz. Eго семья была небогатой — отец был простым железнодорожником и Эрхардту пришлось уже в юные годы зарабатывать себе на кусок хлеба. В 14 лет он выучился на механика начал работать на разных предприятиях, где приобрел богатый практический опыт.
С юных лет у Хайнриха проявился технический талант: всего за 5 месяцев он сам спроектировал и изготовил специальную машину для изготовления деревянных винтов, необходимых для лож производимых в Зуле ружей. А в возрасте всего 26 лет он основал собственную фабрику по производству насосов и брандспойтов в своем городе, однако из-за экономического кризиса она просуществовала недолго. Тем не менее, уже тогда Хайнрих Эрхардт стал известен как выдающийся конструктор и поиски нового поля деятельности привели его в Дюссельдорф. Там Эрхардт патентует и внедряет в жизнь революционный способ бесшовного изготовления труб, игравший исключительно важную роль в производстве стволов и корпусов снарядов. О значении этого открытия говорит тот факт, что на первоначальной эмблеме Rheinmetall присутствовал стилизованная схема данного способа в виде кружка с четыремя дугами.
Собственно с этого изобретения Эрхардта и началась история знаменитого концерна, основанного в 1889 году как Rheinischen Metallwaren- und Maschinenfabrik, Düsseldorf-Derendorf. Хайнрих Эрхардт возглавил руководство предприятием, которое позже получило более краткое имя Rheinmetall. Eго развитию и укреплению Хайнрих Эрхардт посвятил всю свою дальнейшую жизнь.
Величайшей его заслугой было усовершенствование конструкции противооткатных устройств, принципиальная схема используется и поныне. Кроме этого, Эрхардт основывает в 1892 году автомобильную фабрику в Айзенахе (Dixi-Werke), а в 1901 году становится владельцем завода по производству оружия и боеприпасов в городе Зёммерда, основанного изобретателем казнозарядного «игольчатого» ружья Николаусом фон Дрейзе. Хайнрих Эрхардт руководил концерном Rheinmetall до 1920 года, после чего вернулся в свой родной город Целла-Мелис, где умер 20 ноября 1928 года.
Несмотря на свой успех и богатство, Хайнрих Эрхардт оставался простым и доступным человеком: работники предприятия обращались к нему на «ты», а сам Эрхардт не брезговал сам встать за станок или верстак, чтобы помочь рабочему или ученику советом или освоить нужную операцию. Много сделал немецкий предприниматель и в социальной сфере. Например, только в родном Целла-Мелис он построил 180 социальных квартир с платой всего 8 рейхсмарок в месяц. А если у работника нехватало денег, например, на занавески, то Эрхардт покупал из средств предприятия.
Традицией стали фирменные праздники, на которых имели право присутствовать все работники со своими семьями. В честь Эрхардта в Целла-Мелис названа одна из улиц, где стоял дом немецкого оружейника, а также местная гимназия. Позже Хайнриху Эрхардту его родной город присвоил звание почетного гражданина. Он также был удостоен звания тайного советника, почетного доктора технических наук Ганноверского университета, золотой медали Берлинской горной академии и медали Карла Люга.