问题已解决，方案供大家参考：
1. 打开Star CCM+，然后依次打开“工具——重置选项”，勾选下图中的部分选项进行重置；

2. 打开系统环境变量，删除先前设置的用户变量和系统变量，确定并退出；
3. 打开系统环境变量设置，重新按要求配置系统环境变量，确定并退出；

4. 打开Star CCM+，新建模拟项目，未报错，成功！

有没有大佬知道这种情况怎么办

我发现是安装步骤出了问题，按照安装包里的教程，crack文件夹下的license.dat文件夹没有被复制到软件安装路径下，其实正确的是08.02.010-R8和license.dat一起被复制到软件安装路径下。这样在选择环境变量的时候，就可以直接浏览软件安装路径下许可证了。
即把图1复制到图2：
图1
图2

厉害厉害

楼主我这还是没解决啊，还是显示返回代码8