Ob man Mental Ray selbst bremsen kann weiß ich nicht aber du könntest eh gleich der ganzen 3dsmax.exe eine niedrigere Priorität zuweisen. Das Ergebnis ist quasi das Gleiche.
Um einer Anwendung Priorität zu entziehen rufe als erstes mit STRG+ALT+ENTF den Windows-Taskmanager auf und wechsle zur Ansicht "Prozesse". Suche dort die Anwendung, die du bremsen möchstest (etwa 3dsmax.exe) und rechtsklicke drauf. Unter Priorität festlegen musst du nun nur noch einen Wert unter normal angeben und anschließend die Stabilitäts-Warnmeldung bestätigen. Nun sollte die Anwendung weniger Ressourcen verbrauchen und die Windows-Oberfläche mehr Saft haben.