对制度运行的成本的考察可以说是新制度经济学与其他制度学派的分野所在。几乎全部新制度经济理论研究的落脚点都建立在“交易成本”这个概念之上。交易费用的提出改变了新古典经济学把企业视为生产函数、市场交易瞬间完成以及交易费用为零的状况，使经济学家重新思考企业存在的原因、不同的公司组织形式和契约形式的变化等现实问题。新制度经济学的中心论题是：只要存在交易成本，产权结构就对生产绩效产生影响。从科斯开始的产权分析的主旨，就在于从理论上解释在社会经济活动中人们降低交易费用的努力所导致的组织规模的决定、市场与科层的选择，以及社会制度的演进与变迁的内在机理。
所以，如果说在传统制度经济学视野中的是一个演化着的制度整体的话，那么新制度经济学着重的则是在交易费用基础上的不同制度形态的绩效与选择。交易成本的存在导致了不同制度形态的存在，多种形态的制度的存在正是节约交易成本的努力所导致的结果。在交易成本存在的条件下，不同的产权结构会产生不同的效率，而对效率的追求会使得当事人选择交易成本最小的制度，从而会存在不同的制度形式。诺斯又将其更简洁地归纳为：制度是重要的。正是以交易成本为基础，形成了新的分析范式，使经济分析深入到具体的生产的制度结构，使得对制度选择、制度绩效的研究和比较成为可能。
（二）人的行为的决定：文化的视角与成本的视角
早期制度经济学、后制度经济学与新制度经济学在制度分析视角上的分野，同样也反映在对人的行为的分析方面。凡勃仑对新古典主义以理性涵盖人类复杂的习惯活动的观点提出了批评。凡勃仑认为，经济系统中的个人是文化的产物，个人行为由社会环境和人的本能共同支配。人类的行动是他的遗传特性和过去经历的结果，行动不能被理解成效用与成本的计算，而应当从人的“本能”及所存在的环境重新去寻找决定行为的因素。因此，在经济行为的决定上，凡勃仑坚持从行为人所具有的遗传特征、个人环境等多方面进行分析，坚持认为正是多种因素决定了人们的经济行为。后制度经济学也基本继承了这种观点。
新制度学派也认识到新古典主义的“经济人”假设的不现实，因而力图采取与传统经济学完全理性人不同的假设。交易费用学派代表人物威廉姆斯在一系列市场和等级的研究中，所依赖的关于人的认知能力的前提则是西蒙所倡导的“有限理性”。威廉姆斯指出(1979)，人类理性受到信息传播效率和接受信息的能力等多种制约，只处于欲望的合理和有限制的条件之间，落在非合理的行为与超合理的计算行为之间的中间地带。从“无限理性”到“有限理性”，这应该说是新制度经济学对新古典假设的一种改进，但其实质是将这种认知的差异归结为新的成本——信息成本，即在新古典主义预算约束的基础上，增加信息约束。这样通过运用交易成本进行新的阐述，维护了新古典理性选择的内核。
（三）对市场作用的看法：两者的根本差异所在
有关市场的作用问题一直是早期制度经济学、后制度学派经济学家与以科斯、德姆塞茨等为代表的新制度经济学派经济学家的根本分歧所在。
康芒斯认为，市场秩序并非只是看不见的手的结果，也是集体行动实现从利益冲突中创造利益的相互关系的产物。康芒斯还认为，如果斯密认识到这一点，他一定会发现，不是一只看不见的手在引导个人的利己心在走向公共的福利，而是那看得见的普通法庭的手在采取当时和当地的良好习俗，使一些顽固不驯的个人必须遵守、符合休谟所谓的“公共效用”。
后制度经济学家布罗姆利在《经济利益与经济制度》一书中对市场、集体行为和强制之间的关系进行了精辟的分析。通常的观点认为集体行动意味着强制，而市场中不存在强制。事实是市场和集体行动都同时限制和解放个人。市场通过预算限制个人选择，集体行动通过对个人选择集的规定限制个人选择。认为预算限制对个人选择范围的侵犯比对可接受的个体行为作出的某一集体决定对个人选择范围的侵犯为少，那是寻求不是区别的区别。例如富人拥有更多的选择，他们可以选择不向别人出卖自己的劳动，而穷人却不得不通过“非强制”的市场方式来交易自己的劳动。非强制的市场形式下隐藏着由经济制度决定的分配关系形成的预算制约，这种制约一点儿也不比集体行动的制约来得弱。所以，布罗姆利提出，市场表面的自由，或者是不存在强制，实际上通过进一步的审视，需要的条件比解决的问题还多。
新制度经济学的实质是通过交易成本概念的提出，得以将新古典的成本—收益分析方式统一到制度领域。这样，制度和商品一样，都是可在自发的市场交易中实现优化与均衡的。与新古典主义一样，在这个新的领域，市场作用仍然扮演着最核心的角色。新制度学派的理论如同新古典主义一样，只看到他们之间的一种交易或契约关系，而对其背后的强制关系视而不见。新制度经济学效率导向的制度理论未脱离“同义反复”的困境。无论是诱致性制度变迁的拉坦－速水模型，还是诺斯模型，均是试图将制度解释为经济收益驱动的、对市场过程中外生不均衡的反应。它们试图通过出现增加收入所得的机会或总体经济效率的提高来解释制度环境的变迁。然而，正如布罗姆利所批评的，“这些制度创新最致命的缺陷是它们没认识到不管怎样定义，效率总是倚赖于制度结构。是制度结构赋予成本和收益以意义并决定这些成本和收益的发生率。在寻求经济效益基础上提出的制度变迁模型是循环论证。制度安排决定了什么是效率，这就是产生这种循环论证的原因所在。”（注：布罗姆利《经济利益与经济制度——公共政策的理论基础》，上海三联书店、上海人民出版社，1996，第40页.）由此可见，制度结构相对于市场是更根本的、更为基础的。经济学研究的也就不仅是由这些基础决定的交换过程，而且也是这些基础本身。
（四）方法论的区别：集体主义与个人主义
新制度学派同另外两个制度学派的不同还可以从方法论的角度讨论。对人类行为的分析有两种基本的方法论，即个人主义和集体主义。一般而论，个人主义方法论是通过对个体现象和过程的研究来认识一般，方法论的集体主义则是通过对群体现象或过程的研究来认识世界。直接源于斯密、马歇尔的个人主义方法论贯穿了古典政治经济学和新古典经济学，其特征是强调个体的独立存在意义和利益特征，承认利己主义，主张通过个人之间的安排来解决问题，强调个体面对外部约束条件作出反应，忽视人和制度的相互关联和影响机制。早期制度主义和后制度主义的一个鲜明特征是以集体主义方法论为基础。他们认为，处于孤立状态的个人是根本不存在的。相反，恰恰是“社会”使个人行为得以形成，人是一种社会存在，他所作出的选择，不仅以内在的效用函数为基础，更重要的还要受下列因素的影响：社会经验、人们之间的相互作用、演进的学习过程等。理性决策的个人并不能独立于独特的文化整体而存在，这决不是说个人没有理性，而是要承认文化对个人的影响以及个人作为文化整体的一部分。并且，个人行为之和不等于集体行为。他们认为，社会不是、也不应理解成为个人行为的简单之和，尤其是其目标的形成与变化（Hodgson,1988;Miller,1989；张宇燕，1994）。制度和社会作为一个文化整体有自身的运动特点，不能分解为个人行为之和。所以说，通过对制度的考察和描述，才能最好地理解个人的经济行为以及个人如此行为的信念。
新制度学派也意识到个人主义方法论的局限性，从而也具有某些集体主义的倾向。这种倾向尤其见于新经济史理论中，特别是诺斯对意识形态的分析带有集体主义的色彩。但是，归根结底，无论是新经济史学、产权理论、交易费用理论或是新制度经济学的其他理论，个人作为原子式的财富最大化主体，始终是分析的基础。新制度经济学在方法论上相对于新古典经济学，并没有太大的创新，仍是个人主义的。
所以，如果说在传统制度经济学视野中的是一个演化着的制度整体的话，那么新制度经济学着重的则是在交易费用基础上的不同制度形态的绩效与选择。交易成本的存在导致了不同制度形态的存在，多种形态的制度的存在正是节约交易成本的努力所导致的结果。在交易成本存在的条件下，不同的产权结构会产生不同的效率，而对效率的追求会使得当事人选择交易成本最小的制度，从而会存在不同的制度形式。诺斯又将其更简洁地归纳为：制度是重要的。正是以交易成本为基础，形成了新的分析范式，使经济分析深入到具体的生产的制度结构，使得对制度选择、制度绩效的研究和比较成为可能。
（二）人的行为的决定：文化的视角与成本的视角
早期制度经济学、后制度经济学与新制度经济学在制度分析视角上的分野，同样也反映在对人的行为的分析方面。凡勃仑对新古典主义以理性涵盖人类复杂的习惯活动的观点提出了批评。凡勃仑认为，经济系统中的个人是文化的产物，个人行为由社会环境和人的本能共同支配。人类的行动是他的遗传特性和过去经历的结果，行动不能被理解成效用与成本的计算，而应当从人的“本能”及所存在的环境重新去寻找决定行为的因素。因此，在经济行为的决定上，凡勃仑坚持从行为人所具有的遗传特征、个人环境等多方面进行分析，坚持认为正是多种因素决定了人们的经济行为。后制度经济学也基本继承了这种观点。
新制度学派也认识到新古典主义的“经济人”假设的不现实，因而力图采取与传统经济学完全理性人不同的假设。交易费用学派代表人物威廉姆斯在一系列市场和等级的研究中，所依赖的关于人的认知能力的前提则是西蒙所倡导的“有限理性”。威廉姆斯指出(1979)，人类理性受到信息传播效率和接受信息的能力等多种制约，只处于欲望的合理和有限制的条件之间，落在非合理的行为与超合理的计算行为之间的中间地带。从“无限理性”到“有限理性”，这应该说是新制度经济学对新古典假设的一种改进，但其实质是将这种认知的差异归结为新的成本——信息成本，即在新古典主义预算约束的基础上，增加信息约束。这样通过运用交易成本进行新的阐述，维护了新古典理性选择的内核。
（三）对市场作用的看法：两者的根本差异所在
有关市场的作用问题一直是早期制度经济学、后制度学派经济学家与以科斯、德姆塞茨等为代表的新制度经济学派经济学家的根本分歧所在。
康芒斯认为，市场秩序并非只是看不见的手的结果，也是集体行动实现从利益冲突中创造利益的相互关系的产物。康芒斯还认为，如果斯密认识到这一点，他一定会发现，不是一只看不见的手在引导个人的利己心在走向公共的福利，而是那看得见的普通法庭的手在采取当时和当地的良好习俗，使一些顽固不驯的个人必须遵守、符合休谟所谓的“公共效用”。
后制度经济学家布罗姆利在《经济利益与经济制度》一书中对市场、集体行为和强制之间的关系进行了精辟的分析。通常的观点认为集体行动意味着强制，而市场中不存在强制。事实是市场和集体行动都同时限制和解放个人。市场通过预算限制个人选择，集体行动通过对个人选择集的规定限制个人选择。认为预算限制对个人选择范围的侵犯比对可接受的个体行为作出的某一集体决定对个人选择范围的侵犯为少，那是寻求不是区别的区别。例如富人拥有更多的选择，他们可以选择不向别人出卖自己的劳动，而穷人却不得不通过“非强制”的市场方式来交易自己的劳动。非强制的市场形式下隐藏着由经济制度决定的分配关系形成的预算制约，这种制约一点儿也不比集体行动的制约来得弱。所以，布罗姆利提出，市场表面的自由，或者是不存在强制，实际上通过进一步的审视，需要的条件比解决的问题还多。
新制度经济学的实质是通过交易成本概念的提出，得以将新古典的成本—收益分析方式统一到制度领域。这样，制度和商品一样，都是可在自发的市场交易中实现优化与均衡的。与新古典主义一样，在这个新的领域，市场作用仍然扮演着最核心的角色。新制度学派的理论如同新古典主义一样，只看到他们之间的一种交易或契约关系，而对其背后的强制关系视而不见。新制度经济学效率导向的制度理论未脱离“同义反复”的困境。无论是诱致性制度变迁的拉坦－速水模型，还是诺斯模型，均是试图将制度解释为经济收益驱动的、对市场过程中外生不均衡的反应。它们试图通过出现增加收入所得的机会或总体经济效率的提高来解释制度环境的变迁。然而，正如布罗姆利所批评的，“这些制度创新最致命的缺陷是它们没认识到不管怎样定义，效率总是倚赖于制度结构。是制度结构赋予成本和收益以意义并决定这些成本和收益的发生率。在寻求经济效益基础上提出的制度变迁模型是循环论证。制度安排决定了什么是效率，这就是产生这种循环论证的原因所在。”（注：布罗姆利《经济利益与经济制度——公共政策的理论基础》，上海三联书店、上海人民出版社，1996，第40页.）由此可见，制度结构相对于市场是更根本的、更为基础的。经济学研究的也就不仅是由这些基础决定的交换过程，而且也是这些基础本身。
（四）方法论的区别：集体主义与个人主义
新制度学派同另外两个制度学派的不同还可以从方法论的角度讨论。对人类行为的分析有两种基本的方法论，即个人主义和集体主义。一般而论，个人主义方法论是通过对个体现象和过程的研究来认识一般，方法论的集体主义则是通过对群体现象或过程的研究来认识世界。直接源于斯密、马歇尔的个人主义方法论贯穿了古典政治经济学和新古典经济学，其特征是强调个体的独立存在意义和利益特征，承认利己主义，主张通过个人之间的安排来解决问题，强调个体面对外部约束条件作出反应，忽视人和制度的相互关联和影响机制。早期制度主义和后制度主义的一个鲜明特征是以集体主义方法论为基础。他们认为，处于孤立状态的个人是根本不存在的。相反，恰恰是“社会”使个人行为得以形成，人是一种社会存在，他所作出的选择，不仅以内在的效用函数为基础，更重要的还要受下列因素的影响：社会经验、人们之间的相互作用、演进的学习过程等。理性决策的个人并不能独立于独特的文化整体而存在，这决不是说个人没有理性，而是要承认文化对个人的影响以及个人作为文化整体的一部分。并且，个人行为之和不等于集体行为。他们认为，社会不是、也不应理解成为个人行为的简单之和，尤其是其目标的形成与变化（Hodgson,1988;Miller,1989；张宇燕，1994）。制度和社会作为一个文化整体有自身的运动特点，不能分解为个人行为之和。所以说，通过对制度的考察和描述，才能最好地理解个人的经济行为以及个人如此行为的信念。
新制度学派也意识到个人主义方法论的局限性，从而也具有某些集体主义的倾向。这种倾向尤其见于新经济史理论中，特别是诺斯对意识形态的分析带有集体主义的色彩。但是，归根结底，无论是新经济史学、产权理论、交易费用理论或是新制度经济学的其他理论，个人作为原子式的财富最大化主体，始终是分析的基础。新制度经济学在方法论上相对于新古典经济学，并没有太大的创新，仍是个人主义的。