Добрый день.
Воспроизвели проблему на OS X Yosemite. Это связано с ошибкой
bugs.openjdk.java.net/browse/JDK-8200214 , которая уже не подлежит исправлению. К тому же для 10.10 обновления перестали выпускаться с августа 2017 года.
Вам нужно обновить систему до OS X 10.11 El Capitan.
Есть вариант запуска для устаревших систем. При этом NCALayer сможет скачивать обновления, однако автоматически перезапуск приложения будет невозможен.
1. Скачайте и установите последнюю версию JRE на java.com
2. Запустите в приложении "Терминал"
/Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin/Contents/Home/bin/java -jar /Applications/NCALayer.app/Contents/Java/NCALayer-1.2.jar
3. Терминал должен быть открыт во время работы NCALayer