Matthias Scherge studierte Physik und Technik Elektronischer Bauelemente an der TH Ilmenau und an der TU Bratislava. Im Jahre 1992 promovierte er zu „Materialtransport in Leitbahnen der VLSI Technik“ an der TU Ilmenau. Es folgte ein Aufenthalt an der Carnegie Mellon University Pittsburgh/ USA – zunächst als DAAD Stipendiat am Department of Materials Science and Engineering, dann als Postdoctoral Fellow am Data Storage Systems Center. Von 1995 bis 1996 war Matthias Scherge Oberingenieur des Instituts für Mikrotechnologie an der Universität Hannover und übernahm danach die Forschungsgruppenleitung Mikrotribologie am Institut für Physik der TU Ilmenau. Dort schloss er im Jahr 2000 auch seine Habilitation zum Thema „Technische und biologische Mikrotribologie“ ab.
Zwischen 2000 und 2003 war er wissenschaftlicher Leiter der IAVF Antriebstechnik AG in Karlsruhe und gehörte anschließend bis 2006 dem Vorstand des Unternehmens an. In dieser Zeit hatte er auch Gastprofessuren an der TU Wien und der TU Ilmenau inne. Seit 2003 ist Matthias Scherge Gastprofessor an der Chinesischen Akademie für Maschinenbauwissenschaft in Wuhan/China. Neben einer Honorarprofessur an der TU Ilmenau, lehrt Matthias Scherge seit 2005 am Institut für Angewandte Materialien - Zuverlässigkeit von Bauteilen und Systemen des Karlsruher Instituts für Technologie KIT.
2007 wurde er Leiter des Bereichs Mikro- und Nanotribologie des Fraunhofer Instituts für Werkstoffmechanik IWM in Freiburg und 2009 Leiter und Sprecher des MikroTribologie Centrums μTC. Seit 2011 ist Matthias Scherge Leiter des Geschäftsfelds Tribologie des Fraunhofer-Instituts für Werkstoffmechanik IWM.