Hartmann, hijo de Hartmann von Heldrungen (1203-1225), fue caballero de Heldrungen y, como su padre, vasallo del Landgrave de Turingia. Se unió a la Orden Teutónica el 18 de noviembre de 1234, junto con el Landgrave y más tarde Gran Maestre Konrad de Turingia (cuñado de Isabel de Turingia, canonizada en 1235), el posterior Landmeister y maestro alemán Dietrich von Grüningen, y su hermano Hermann von Heldrungen[1] y otros seis caballeros. El motivo probablemente fue la penitencia que se les impuso por la destrucción total de la ciudad de Fritzlar y la profanación de la colegiata allí dos años antes.
Hartmann participó en las negociaciones y celebraciones cuando la Orden de los Hermanos de la Espada se incorporó a la Orden Teutónica en 1237. En 1238 se convirtió en comandante de la Orden Teutónica en Sajonia. Contaba con la confianza del Gran Maestre y por ello ascendió rápidamente dentro de la orden. Entre 1261 y 1266 fue Gran Comendador y segundo hombre de la orden después del Gran Maestre Anno von Sangerhausen.
En el verano de 1273 Hartmann fue elegido Gran Maestre. Su mandato estuvo marcado por una relativa paz para la Orden y apoyó el cultivo de Prusia y Lituania. Logró ganancias territoriales en el Imperio y en Pomerania