自陆九渊提出“心即理”，后代具有心学倾向的学者多服膺之。但“心即理”既可以理解为心中具有的道德意识所代表的“理”与天地万物所体现的理从根本上说是同一的，也可以理解为天地万物之理为吾心所创设，所赋予。陆九渊与他的弟子杨简的不同正在这里，江右王门学者胡直综合了这二者，同时吸收佛教万法唯心所造的观点，提出理不离乎心，察之外无物的思想。
胡直（1517—1585）字正甫，号庐山，江西泰和人，嘉靖进士，历任刑部主事、湖广佥事、四川参议、四川学政、湖广督学、广西参政、广东福建按察使等职，万历十三年（1585）卒于官。著作由后人编为《衡庐精舍藏稿》三十卷，《续稿》十一卷，其中最重要的哲学著作是《胡子衡齐》。另有《困学记》记其一生学问重要转折甚详。
胡直年轻时性格豪放，不乐拘检，慕孔融、李白、苏轼等人，酷好辞章，仿李梦阳、何景明做古文，曾著《格物论》驳阳明学说。年二十六，师从欧阳德，契会其“唯真则吾知自无蔽亏”之说。年三十一，往访罗洪先于石莲洞中，洞居一月，听罗洪先讲无欲主静之学，心有感发，于是禀学称弟子。次年，游韶州，太守陈大伦聘为明经书院教谕，因从陈大伦学玄学。又从学侣邓钝锋习禅，甚有心得，自言：“一日，心思忽开悟，自无杂念，洞见天地万物皆吾心体，喟然叹曰：‘予乃知天地万物非外也。’自是，事至亦不甚起念，似稍能顺应，四体咸畅泰，而十余年之火症向愈，夜寝能寐。予心窃喜，以告钝锋，钝锋曰：‘子之性露矣’。”（《困学记》，《明儒学案》第521页）这段习禅静坐的经历，使他有了主客融为一体，我心与宇宙万象浑然一物的神秘体验。这对他以后确立“察之外无理”、“心造起万物”的哲学宗旨有极大的作用。这种万物一体的体验，他认为与子思的“上下察”、孟子的“万物皆备于我”、程颢的“仁者浑然与物同体”、陆九渊的“宇宙就是吾心”是同一境界。
胡直的哲学宗旨可以归结为一点，这就是“心造天地万物”。他尝说：“吾心者，所以造日月与天地万物者也。……匪是，则亦黝墨荒忽，而日月天地万物熄也。”（《理问》下，《胡子衡齐》卷一）胡直的“心造天地万物”包括两个方面：一是，理不离心；二是，物不外乎心，察之外无物无理。
一理不离乎心，存神过化
胡直的思想受父亲影响极大。胡直的父亲接受了王阳明“心外无理”的宗旨，不满意程颐“在物为理”之说，胡直曾记述：“昔者先府君尝读叔子之言，乃著论驳之曰：‘既曰“在物为理”，而又曰“处物为义”，谓义非理也，可乎？既曰“在物为理”，而又曰“性即理也”，谓性为在物，可乎？是二语者，可谓明矣。叔子之非，宁待攻而破哉？’惜先府君之论，散佚不全。”（《理问》，《衡庐精舍藏稿》卷二十八）
胡直对程颐之学的怀疑深受他父亲的影响，他认为，“在物为理”，指宇宙根本之理赋予物，而使物有了条理和秩序；而“处物为义”指对事物的处理符合道德准则。前者是天赋的性，后者是人为的善，但从根本上说，在物的理和在人心的义两者是同一的宇宙原理的不同表现形式，二者是一回事，故理也可以说即在心内。胡直引述他父亲驳斥程颐的话，是要说明，理在心内。与心无交涉的在物之理，对主体来说是没有意义的。在他看来，若理与心了无干涉，则物自物、我自我，不仅将堕入物之理与人之性理歧而为二之弊，而且格物之功亦必将变为一种纯知识的活动，与道德修养毫无关系。而要克服这两种偏向，必须承认理在心中。他说：
“万理之实，岂端在物哉！其谓实理，即实心是也。”（《胡子衡齐·虚实》）胡直认为，他的这一理论可由《孟子》“万物皆备于我”和《中庸》“不诚无物”得到证明。他对他自己所讲的心和程颐、朱熹所讲的心作了区别，他认为，他所谓心，是心即理之心，故为实，程朱所谓心只是指心的认识能力、“灵明”，其中没有理的内容，没有理的内容的心只是空幻。他说：“世儒自幻视其本实之心，而反瞿焉索物以求理，认外以为实，所谓以幻求幻，其幻不可究竟也。”（《胡子衡齐·虚实》）
胡直据此批评世儒以程颐的“圣人本天，释氏本心”为根据而对心学的挞伐。他指出，世儒皆认为道之大原出于天，人心不得增损，否则必堕入佛氏以心法起灭天地的错误。实际上世儒所谓心，与心学所谓心并不是一个概念。在胡直看来，世儒所谓心，指知识理性，其作用在于认知、照察、表象外物；而心学所谓心，涵摄宇宙根本之理，它最本质的方面在道德理性，知识理性是第二位的、次要的。他说：“当皇降之衷，天命之性故已在人心久矣。圣人本天，舍人心又孰为本哉？非心之外别有天也。”（《胡子衡齐·虚实》）他指出：若不能自信其心为天理之凝聚处，以知识之心为心之本体，儒者追求道德修养就只能循“即物穷理”一途，在纷纭繁赜的外物上求理，以外物上求得的理来填补心之灵明，其弊必至于“劈积磔裂，胶固纷披，不胜推测，不胜安排。穷搜愈精，比拟愈似，而天者愈离”（《胡子衡齐·天人》）。
胡直的理论的一个突出特点，就是对于心学与理学（主要是程颐、朱熹学派）在心性上的差别有极强的辨别意向，他继王阳明之后，自觉地排距以知觉为心、心性离而为二的倾向。他认为，程朱学派在心性论上的一个极大错误，就在于以心为知觉器官，它可以盛贮外在之理。所以程朱学者有一普遍的认识：“能觉者心，所觉者理。”析能所、心性为二，以为觉虚而理实，心虚而性实，二者判然相离。而在胡直看来，心性情三者的关系是不离不杂的，性（理）为心所固有，情乃性之表现，二者皆统于一心。譬之火，心为火，性为火之明，明不在火之外；性为火之明，情为明发出的光，光不在明之后。心性情三者可以有不同的名称，但不可将三者截然割裂。觉是心的功能，觉即性之所在，而性又表现为情，故觉是性情的载体。他尝说：“觉即性，非觉之外有性也，性即理，非性之外有理也。”（《胡子衡齐·心性》）
胡直指出“觉即性”的说法，意在于强调三点：其一，性与心是打通的，抽象的性的层面时时落实于、表现为心的层面，心是天理的昭明灵觉处，性时时发散于外，不是以抽象的性理的形式逻辑地、外在地存在于心中，而是实然地、内在地显发于心中。
其二，道德理性与知识理性时时缠绕在一起，共同构成心的现实内涵，心不仅仅是知觉灵明，也不仅仅是道德情感、道德意识，而是二者的复合统一体。
其三，性对情的主宰作用靠现实的觉来发生作用，情的意向靠觉来发现，性对情的纠察、判断、评价系统靠觉来执行。心的复杂的联合作用功能最终都要落实到觉上，觉是性的本质属性，故说“觉即性”；觉是情的载体，故说“觉为之运”。性的主宰作用和情的生发作用是时时统一在一起的，故说“方其宰也而无不运，方其运也而无不宰”。心是觉与性情的统一，故说“至虚而无不实，至实而无不虚”。胡直对于心与性情的关系的论述，在明代哲学家中是较为深刻的。在心性与理气的关系上，胡直也有独特的论述。他反对宋代理学家所谓“气质之性”的说法，他说：
气有阴阳五行，杂糅不一者也。二五之气，成质为形，而性宅焉。性者，即维天之命，所以宰阴阳五行者也。在天为命，在人为性，而统于心。故言心即言性，犹言水即言泉也。泉无弗清，后虽汩于泥淖，澄之则清复矣。性无弗善，后虽汩于气质，存之则善复矣。由是观之，性是性，气质是气质，又乌有气质之性哉！（《胡子衡齐·续问》）
这里，胡直仍然是站在心学的立场上反对程朱之学。陆九渊就曾反对朱熹天命之性和气质之性的分别，认为只有天命之性，无气质之性。胡直在这一点上与陆九渊相同，认为性只有天命之性，这个天命之性是宇宙运化中所体现的理，它是阴阳五行等属于形气方面的东西的主宰，这个理与人心中本有的道德意识同是宇宙根本之理的表现。此性有善而无恶，它可以为气质所汩没，但并不另有气质之性。胡直这一说法，仍是固守心学立场，它对宋儒所谓气质之性的理解，是不符合其原意的。胡直尝说：“今夫物毙矣，其质犹存，而生奚在？人之初死，其气犹存，而生奚在？然则谓气质有性者，赘也，亦舛也。”（《胡子衡齐·虚问》）
在他看来，“气质之性”这句话本身就是不通的，因为只有有生命的东西才有性，无生命的东西有气而无生，故无性。无生命的东西可以有理，但不能说有性。
胡直这里所理解的气质之性，与程朱所谓气质之性不同。气质之性和天命之性（或说义理之性）的区别始自张载，张载说：“形而后有气质之性，善反之则天地之性存焉。故气质之性，君子有弗性者焉。”（《正蒙·诚明》）程颐认为张载此区分“极有功于圣门”，他承认有“生之谓性”的性，但认为这不是性之本体，“生之谓性，论其所禀也”，指人禀受的气，“极本穷源之性”，如孟子所谓性善之性，才是性之本。朱熹继承了程颐，对天命之性和气质之性作了详细解说，朱熹的说法成了后来儒者论性的基本模式。朱熹说：“大抵人有此形气，则是此理始具于形气之中，而谓之性。才说是性，便已涉乎有生而兼乎气质，不得为性之本体，然性之本体亦未尝杂。要人就此上面见得其本体元未尝离，亦未尝杂耳。”（《朱子语类》卷九十五）
朱熹认为天命之性是性之本体，但这个本体是抽象的，必具于形气之中。天命之性具于形气之中后，必然受气质的影响，使本然之性有偏有杂，此即“兼乎气质，不得为性之本体也”。天地之性是纯善的，气质之性则有善有恶。人在现实中表现出的善，源自天命之性，恶源自气质之性，但天命之性必不能离气质而别有顿放。在程朱学说中，气质之性绝不能无，其根本修养功夫涵养、穷理，亦在于去掉或尽量减少气质对天命之性的影响，全其天命之性。从张载到朱熹的这一区分，贡献在于看到了现实的具体的人性（气质之性）与理想的抽象的人性（天命之性）的区别，看到了现实的人受所禀气质影响的绝对性，对人性中不得不有的弱点采取较为温和的态度。而从陆王到胡直的心学，将天命与形气的冲突豁然提揭出来：非性即气，无有“气质之性”。胡直不承认气质之性，是为了揭示这种直接性，突出功夫途径的斩截。这可以看做心学简易功夫的一个表现。胡直特别强调主宰的绝对性：盖尝观之，盈天地之间，升降阖辟，凡有聚有散者，畴非气也？而孰宰之？则帝天为之宰焉者，是命也，即理也。故《诗》称“维天之命，於穆不已”者是也。人生天地间，呼吸作止，凡有聚有散者，畴非气也？而孰宰之？则心觉为之宰焉者，是性也，即理也。故《书》称“惟皇上帝，降衷于下民，若有恒性”者是也。故理之在人也，宰之一心，而达之天下，不期而准；主之一时，而施之千万世，不约而协。是我之知觉，本通乎人之知觉，本通于天下后世之知觉，本非有我之所得私。所谓以我为主，以觉为性者，本未为非，亦未为私也。觉即理也。然至于无准与权者，则所谓感物而动，失其本知本觉者也。（《胡子衡齐·申言》）
盈天地间皆气，其主宰为命，为理，人亦气所构成，其主宰为“心觉”，这个“心觉”，即性在心中的透显，亦即心性统一体。由于人性物理为同一宇宙法则的表现，故二者本质上是同一的。人与物，人与人为同一法则，故有“不期而准”、“不约而协”的性质。所谓以我为主，也就是以理为主，以性为主。本体如此，其权衡之失在于后天感物而动时失其本体。
胡直的心性论以性命为主宰，为本体，为权衡，所以他的功夫以尽性至命为宗旨，以存神过化为实功，他对此有详细的解说和发挥：