冯·诺依曼计算机的软件和硬件完全分离，适用于作数值计算。这种计算机的机器语言同高级语言在语义上存在很大的间隔，称之为冯.依曼语义间隔。造成这个差距的其中一个重要原因就是存储器组织方式不同，冯·诺依曼机存储器是一维的线性排列的单元，按顺序排列的地址访问。而高级语言表示的存储器则是一组有名字的变量，按名字调用变量，不考虑访问方法，而且数据结构经常是多维的（如数组，表格）。另外，在大多数高级语言中，数据和指令截然不同，并无指令可以像数据一样进行运算操作的概念。同时，高级语言中的每种操作对于任何数据类型都是通用的，数据类型属于数据本身，而冯.诺依曼机的数据本身没有属性标志，同一种操作要用不同的操作码来对数据加以区分。这些因素导致了语义的差距。如何消除如此大的语义间隔，这成了计算机面临的一大难题和发展障碍。
冯.诺依曼体系结构的局限严重束缚了现代计算机的进一步发展，而非数值处理应用领域对计算机性能的要求越来越高，这就亟待需要突破传统计算机体系结构的框架，寻求新的体系结构来解决实际应用问题。目前在体系结构方面已经有了重大的变化和改进，如并行计算机、数据流计算机以及量子计算机、 DNA计算机等非冯计算机，它们部分或完全不同于传统的冯.诺依曼型计算机，很大程度上提高了计算机的计算性能。
