本书的前两卷主要讨论了个体评判他人感情、行为的出发点和基础，在这一章里我们要把重点转移到个体是基于什么出发点进行自我评价的问题上来。
个体借以评价自身行为的原则与其评价他人行为的准绳大抵类同，主要依据是个体在换位思考时能否充分理解他人之所以采取某种行为的情感和动机。同样，当个体以旁观者的角度来审视自己的行为时，是否对影响行为的情感和动机有充分的理解及同情，也成为其认同与否的关键因素。个体只有进行换位思考，与自己主观的情感和动机保持一定的距离，才可能全面地审视自己的行为，做出客观的判断。个体要努力从他人的角度来重新认识自己，采用他人眼中可能产生的看法才能做到这一点。所以，个体做出的所有判断几乎都与他人的判断存在着某种内在的联系，这种联系可能是实际存在的，也可能只有在一定条件下才会出现，也可能只是出于个体的无边幻想。个体要以旁观者的不偏不倚的角度审视自己的行为，当换位思考后也能完全理解所有影响自己行为的情绪和动机，他就会认同这种公正客观的看法，理解自己的行为；而如果不能理解的话，就会站在旁观者的立场对自己的行为进行谴责、非难。
一个人如果有可能在从来没有跟别人交往过、在与世隔绝的地方长大成人，他就不可能去想自己是长得美还是丑，也不会去考虑自己的品质、情感和行为是好还是不好，更不管自己的心灵是美好还是丑陋。不是因为他从来不去注意这些令他难以理解的问题，而是他没有一个参照物——镜子，把这些反馈展示给自身。而他一旦步入社会，马上就会得到以前所缺少的这个参照物：周遭人的音容笑貌、言行举止就是一面镜子，反映着他们是否体谅和理解自己的情感。在这面镜子里，他生平第一次看到自己的感情是否合适，看到自己心灵的美和丑。那些给他带来或欢欣或伤害的外部事物牢牢吸引了这个一生下来就与世隔绝的人的注意力，在社会化的镜子里他看到的是所有外部事物所激起的感情——渴望或厌恶，快乐或悲伤，这些他步入社会前从来没有思考过的东西忽然在面前展露无遗，或者说，在这之前有关这些感情的想法还没有吸引他感兴趣到专心思考的地步，也许思考这些感情的起因会不时给他带来快乐和悲伤，但是对快乐的思考仅限于当时的快乐，对悲伤的思考也仅限于当时的悲伤。而进入社会后完全不同了，任何感情都会勾起新的链接。当他发现他人只是理解赞同自己的某些感情，对其他的却毫不掩饰地反感，鼓舞感和挫折感就会交替煎熬他的内心。于是所有的感情，无论渴望或厌恶、快乐或悲伤，都会引起新的感情的多米诺骨效应。这些攫取了他的注意力，他开始埋首专注于沉思中。
人对自身长相美丑的最早概念是来自他人的体态容貌，而不是自己本身，但是很快个体会察觉到别人对自己的外形也会作出评论。如果自己的容貌被别人赞美，我们自然会很高兴，但如果被贬丑陋难看，则难免失落。一般人非常在意别人对自己外貌的评价。为了尽可能揣摩别人看自己的眼光，人总是喜欢照镜子，不厌其烦地打量自己的身体，或者用其他办法，但是一定跟自己的个人观想保持一定距离，小心翼翼去猜测别人的眼光。经过这样一番审视，个体如果对自己的外貌感觉不错，就不会将别人的恶意评价放在心上，而是采取无所谓的态度，相反，如果本身就觉得自己外形欠佳，会非常在意他人对自身的评介，那么别人随便一句轻微的讽刺或玩笑都会伤害到他那脆弱的自尊心。潇洒俊朗的人允许你挑剔他的小毛病，但是万万不可戏谑一个相貌平平甚至丑陋的人。很多时候，人们总是庸人自扰：为自己的容貌可能给他人造成什么影响而困扰。但是换个角度想，如果个体完全脱离了社会，这种困扰根本就不会存在。
同样，个体针对他人的品行做道德评价，并且想知道这些会给自己造成怎样的影响，但是很快就会发现，别人也对自己的行为指指点点。人总是热切想知道他人对自己的评价，而既然他人的行为会让自己觉得愉悦或不齿，那么自己是不是可以参考借鉴呢？于是，个体开始假设自己在他人的处境条件下会是怎样的表现，借以检查、订正自己的感情和行为，费尽心思想着怎样表现才能让他人满意。站在客我的角度审视主我的行为，并努力推测这种行为会对主我产生怎样的影响，从某种程度上讲这也许是个体采用近似于旁观者的眼光检查自己的行为是否得体的唯一有效途径。如果客我赞同主我的行为，主客体在某些方面得到了有效统一，那么个体会对自己比较满意，从而不屑于别人的赞扬或夸奖、讽刺或责问，即使受到了误解也会淡然看开，相信最终会得到别人的认可。反之，如果连客我都对主我的行为产生怀疑，主我就会迫切地想得到来自他人的认可、赞成，以消弭这种焦虑感；一旦他人以微妙的言辞暗讽自己的行为不值得恭维，即便是很轻微的谴责，也会让个体如坐针毡、心绪烦乱、患得患失。
个体努力检查、裁判自己的行为并做出褒贬评价的时候，显然是把自己分为客我和主我两个角色：作为检查者和审判官的客我，以及接受审查和评判的主我。客我是旁观者，客我完全以旁观者的角度来审视主我的行为，尽力保持一定距离，以客观的情感去看待主我的行为，并且考虑当主我意识到客我的评价时，会做出怎样的调整。主我是行为人主体，会尽力跳出思维定势而对自己的行为做出评价。客我是冷静的评判者，主我是现实的被评判者。当然，主我和客我不可能完全统一为一体，就好似原因和结果不可能相同一样。
温柔敦厚、追求功勋都属于传统美德中崇高品质的范畴，都应该得到肯定和有效的回报，而那些惹人厌恶、理应弃而远之的败行则是邪恶的习性。但是，品质无论好坏与否都与他人的感情有着密切的关系，美德之所以让人如沐春风、颔首肯定，不只是因为它让我们自觉地去热爱和尊崇，而是因为它在别人心中也激起了美好的感情，产生了共鸣。人意识到美德会带来赞许和尊崇，必然会感到精神上的安宁和满足，一如无端猜疑会引起心灵受到罪恶的莫名其妙的折磨。能够受人爱戴并且清楚自己值得别人来敬爱，是一种难以妙言的幸福；而处处讨人嫌并且自己也认为是罪有应得，又是多么巨大的不幸。