Выделить память...разве что сторонними утилитами, либо я об этом не знаю. Но если вылетает макс то есть пару советов, возможно один из них тебе поможет это поправить.
Во первых проверь обновления для 3D max вот здесь:
http://usa.autodesk.com/adsk/servlet/ps/dl/index?siteID=123112&id=2334435&linkID=9241178и если имеются таковые скачай и обязательно установи.
Если не помогло и причина в перегрузе оперативы то учись оптимизировать сцену. Мастера предыдущего поколения и на слабеньких машинках выжимали потрясающие результаты. Учись работать со слоями они здорово сэкономят твои ресурсы, оптимизируй обьекты сцены вот есть урок по этой теме:
http://3d-uroki.org/content/view/262/228/Если это не поможет то есть еще такие вещи как режим видеокарты который может на это влиять, не исключено что проблема может быть и в порченных обьектах в сцене (у тебя кстати это происходит во всех сценах или в конкретной?)
Вообщем пиши поподробнее попробуем разобраться!
Форум 
