TopoL не считывает растры в память целиком, и именно поэтому может работать с объёмами растров, превышающих объём памяти компьютера. Он формирует растр, который соответствует разрешению экрана компьютера, что и обеспечивает приемлемую скорость при сдвиге растра.

Локальное увеличение - это необходимость выделения из растра на диске нужного фрагмента с высоким разрешением, чтобы показать его в окне. То, насколько быстро можно найти нужное место в файле растра на диске и считать его оттуда, зависит от размера растра и от его внутренней организации. Предполагаю, для для разных вариантов формата TIFF скорость поиска и выделения фрагмента будет разной, и чем больше растр, тем больше будет эта разница. Теоретически, TIFF, записанный "клетками" должен отвечать быстрее, чем записанный полосами. Используемый вариант сжатия тоже может влиять, так как необходимо распаковывать каждый запрашиваемый фрагмент.

Подводя итог, могу посоветовать поэкспериментировать с форматом растра, сравнить скорость при использовании разных форматов.
Можно также попробовать разместить растры на SSD-диске, у них скорость считывания фрагментов файла выше из-за отсутствия механики.
Но с целом обеспечить такую скорость реакции, как в программах, работающих с растрами в памяти, думаю, нереально.

Ну, сейчас уже есть много дисков SSD емкостью 500 Гб, 1 и 2 Тб, вопрос в их стоимости. Но здесь надо выбирать, что выгоднее - заплатить за диск и увеличить производительность работников или сэкономить и смириться с потерей производительности.

Увеличение разрешения по числу тоновых градаций вдвое увеличивает размер файла тоже вдвое, как минимум, не считая ухудшения его "сжимаемости". Реально при визуальном анализе изображения человек разницы не увидит, это выше разрешения глаза по числу градаций. Увеличение разрешения по числу тоновых градаций может быть полезно только для аналитической обработки изображений.

Вот тут и возникает вопрос - почему "Не могу...", ведь Вы после маскирования задаёте параметры сохранения:

* Узнать формат растра: Выбираем растр в дереве данных - "Свойства", в диалоговом окне кнопка "Подробнее..." - там подробно все параметры растра.

* Организацию файла при сохранении Вы выбираете из списка: "Полосами" / "Клетками". В первом варианте полоса имеет ширину растра и выбирать фрагмент для локального окна придётся из довольно большого фрагмента (из каждой длинной считываемой строчки файла маленький кусочек). Во втором варианте растр хранится небольшими прямоугольными клетками, по координатам выбирается нужная клетка и из неё нужный фрагмент для локального окна. Мне кажется, что второй вариант может ускорить работу локального увеличения.

* Способ сжатия файла при сохранении Вы выбираете из списка: "Несжатые" / "PackBits" / "LZW". В несжатом варианте  хранятся все биты. В режиме PackBits сжатие несильное, но быстрое - исключаются в первую очередь части с однородным цветом, т.е. замаскированные области. В режиме LZW используется архиватор типа ZIP, распаковка может требовать некоторого времени.