对方故意骂我神经病是否算犯法，需要根据具体情况和法律条款来判断。

一、从法律角度来看，骂人神经病可能涉及侵犯他人人格权。

依据《中华人民共和国民法典》第九百九十五条，人格权受到侵害的，受害人有权请求行为人承担民事责任。这包括停止侵害、排除妨碍、消除危险、消除影响、恢复名誉、赔礼道歉等请求权。

如果对方故意骂你神经病，且这种行为对你造成了精神上的伤害，你可以根据上述法律条款，要求对方承担相应的民事责任。

二、对方故意骂人神经病也可能构成治安管理违法行为。

根据《中华人民共和国治安管理处罚法》第四十二条，公然侮辱他人或者捏造事实诽谤他人的行为，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。

如果对方在公共场合或者通过其他方式，故意骂你神经病，且这种行为对你造成了名誉上的损害，那么对方的行为就可能构成上述法律规定的违法行为。

三、需要注意的是，法律对于精神病人的违法行为有特别规定。

根据《中华人民共和国治安管理处罚法》第十三条，精神病人在不能辨认或者不能控制自己行为的时候违反治安管理的，不予处罚，但是应当责令其监护人严加看管和治疗。

因此，如果对方是精神病人，在不能辨认或者不能控制自己行为的时候骂你神经病，那么对方可能不需要承担法律责任。但是，这种情况下的责任认定需要由专业的医疗机构进行鉴定。

综上所述，对方故意骂你神经病是否算犯法，需要根据具体情况来判断。如果这种行为对你造成了伤害或者损害，你可以依据相关法律条款来维护自己的合法权益。