有没有办法知道Java程序是从命令行启动还是从jar文件启动？

直接的答案是您无法确定JVM是如何启动的。

但是对于问题中的示例用例，您实际上并不需要知道如何启动JVM。您 真正 需要知道的是用户是否会看到一条写入控制台的消息。这样做的方式将是这样的：

if (!file.exists()) {    Console console = System.console();    if (console != null) {        console.format("File doesn't exists%n");    } else if (!GraphicsEnvironment.isHeadless()) {        JOptionPane.showMessage(null, "File doesn't exists");    } else {        // Put it in the log    } }

Console的javadoc
虽然不漏水，但强烈暗示Console对象（如果存在）会写入控制台，并且无法重定向。

感谢@Stephen Denne的

!GraphicsEnvironment.isHeadless()