人脸标定技术,不同于一般的人脸识别,人脸标定是要确定人脸上数十个甚至上百个关键点的位置,通过这些关键点标记出人脸轮廓和五官的位置,推算出头部xyz轴上的姿态,因为各种跟人脸相关的视频特效都要用到人脸标定。性能也要做到实时,每帧标定只有20ms左右。
视频编码技术,在手机有限的运算能力下,既要视频清晰,又要码率低,对编码算法优化有很高要求。
美颜算法,如今的美颜算法已经不是简单的双边滤波就行的,要做自动白平衡,HDR,皮肤区域检测,去斑去皱纹,皮肤美白红润,瘦脸,而且这些都要在有限的计算能力下实时完成。
肢体动作识别,在没有深度摄像头的情况下通过纯2D画面做姿态估计,手势识别。