影响机器视觉系统的不稳定因素主要有：机械结构定位影响、环境因素影响、软件稳定性、工业相机对成像稳定性的影响、光源对成像稳定性的影响。
1)硬件选择与设计
机器视觉成像系统的硬件选择尤为重要，通过以上对CCD相机与CMOS相机的分析可知，如果没有特殊的要求，比如摄像速度较高(CMOS具有更快的读出速度)，CCD传感器相机是保证图像质量和稳定性的首要选择，其中相机的分辨率和帧率主要根据检测精度和检测速度来选择，通过计算检测物体的视场大小与相机与被测物之间的距离决定合适的分辨率，考虑被测物体的运动速度与检测精度要求选择相机的帧率。
对于镜头，主要需要根据相机的极限分辨率来选取对应的镜头分辨率，选择大于相机极限分辨率的相机即可，还需要根据工作距离与视野计算镜头的焦距，并根据被测物体与相机的距离变化选用合适的景深。在高精度测量下，要保证测量精度，除以上参数的正确选择之外，可以选择几何畸变相对于普通镜头小的远心镜头，远心镜头不仅几何畸变较小，还能减小物体距离变化带来的误差。
如无特殊要求而采用X射线等不可见光光源，对于可见光光源，应优先考虑使用LED光源，在对采集图像质量有决定性影响的光源均匀性上，LED光源明显优于卤素灯、日光灯等其它光源，而且它还具有耗电低、使用寿命长和对环境无污染的优点。同时，为了减小外界光对视觉系统稳定性的影响，可以通过增加光源箱的方式屏蔽外界光源。
2)软件设计
标定
相机与镜头由于工艺的原因，总会或多或少地导致获取的原始图像存在几何畸变误差，这种误差不能通过硬件的优化消除，但可以利用标定软件算法来减弱这种误差对测量精度的影响，相机标定的基本原理是通过相机对视场内不同角度标准图像(通常使用标定板)的拍摄来求出相机的内、外参数以及畸变参数，建立三维坐标与图像坐标的映射关系，从而对得到的原始畸变图像进行矫正，通常相机标定在有精度要求的测量和定位中必须使用。
图像处理
硬件采集到的原始图像最终要通过图滤波、边缘检测等算法才能完成检测功能，实现检测结果的输出。其中图像滤波可以抑制采集到图像中存在的噪声，降低光源与灰度值不稳定的问题，提高信噪比，其本质是通过算法保证图像上像素点间最小方差最小。对于高精度测量系统来说，粗边界像素级精度往往难以满足要求，亚像素级边缘定位技术在像素级别位置通过细分算法与拟合方法结合可以使边缘位置达到0.1甚至0.01的亚像素级精度，系统检测精度得到保证。
总结总的来说，机器视觉系统的设计需要考虑多方面的因素，除了根据需求按照常规选型参数选择相应参数的设备之外，还需要考虑光源的稳定性、相机的畸变误差，以及被检测物体与相机之间的相对运动等因素给机器视觉系统带来的稳定性干扰与测量误差。只有综合考虑这些因素进行视觉系统的优化设计，才能建立稳定、合格的机器视觉系统。
