私自调查别人的个人隐私是违法行为，并会受到相应的法律惩罚。具体惩罚措施依据《中华人民共和国刑法》和《中华人民共和国民法典》的相关规定。

一、依据《中华人民共和国刑法》的惩罚

非法获取公民个人信息罪：根据《中华人民共和国刑法》第二百五十三条之一的规定，违反国家有关规定，私自调查并获取公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

邮政工作人员私自开拆或者隐匿、毁弃邮件、电报罪：如果是邮政工作人员私自开拆或者隐匿、毁弃邮件、电报以调查他人隐私的，依据《中华人民共和国刑法》第二百五十三条的规定，处二年以下有期徒刑或者拘役。

二、依据《中华人民共和国民法典》的侵权责任

根据《中华人民共和国民法典》第一千零三十二条和第一千零三十三条，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。私自调查他人隐私的行为，侵犯了他人的隐私权，应当承担停止侵害、赔偿损失、赔礼道歉等民事责任。

综上所述，私自调查别人的个人隐私将面临刑事和民事双重法律责任。建议尊重他人隐私，遵守法律法规，共同维护社会和谐稳定。