在工业自动化领域中，机器视觉技术的应用已经是越发成熟，其应用范围一直在不断扩大。不过虽说现在机器视觉的应用已经是很常见了，但是在实际使用过程中还是会遇到许多问题，需要技术人员们不断去解决完善，就目前机器视觉系统设计过程中，经常遇到难点主要有以下几点：
1、光源打光的稳定性问题
由于不同材料物体表面反光、折射等问题都会影响被测物体特征的提取，因此光源打光与成像可以说是机器视觉检测要攻克的第一个难关。比如现在玻璃、反光表面的划痕检测等，很多时候问题都卡在不同缺陷的集成成像上。现在工业视觉应用一般分成四大类：定位、测量、检测和识别，其中测量对光照的稳定性要求最高，因为光照只要发生10-20%的变化，测量结果将可能偏差出1-2个像素，这不是软件的问题，这是光照变化，导致了图像上边缘位置发生了变化，即使再厉害的软件也解决不了问题，必须从系统设计的角度，排除环境光的干扰，同时要保证主动照明光源的发光稳定性。
2、工件位置的不一致性
一般做测量的项目，无论是离线检测，还是在线检测，只要是全自动化的检测设备，首先做的第一步工作都是要能找到待测目标物。每次待测目标物出现在拍摄视场中时，要能精确知道待测目标物在哪里，即使你使用一些机械夹具等，也不能特别高精度保证待测目标物每次都出现在同一位置的，这就需要用到定位功能，如果定位不准确，可能测量工具出现的位置就不准确，测量结果有时会有较大偏差。
3、标定
一般在高精度测量时需要做以下几个标定，一光学畸变标定(如果用的不是软件镜头，一般都必须标定)，二投影畸变的标定，也就是因为安装位置误差代表的图像畸变校正，三物像空间的标定，也就是具体算出每个像素对应物空间的尺寸。不过目前的标定算法都是基于平面的标定，如果待测量的物理不是平面的，标定就会需要作一些特种算法来处理，通常的标定算法是解决不了的。此外有些标定，因为不方面使用标定板，也必须设计特殊的标定方法，因此标定不一定能通过软件中已有的标定算法全部解决。
4、物体的运动速度
如果被测量的物体不是静止的，而是在运动状态，那么一定要考虑运动模糊对图像精度(模糊像素=物体运动速度*相机曝光时间)，这也不是软件能够解决的。
5、软件的测量精度
在测量应用中软件的精度只能按照1/2—1/4个像素考虑，最好按照1/2，而不能向定位应用一样达到1/10-1/30个像素精度，因为测量应用中软件能够从图像上提取的特征点非常少。
6、对非预期缺陷的识别
在实际应用中，往往是给定一些具体的缺陷模式，使用机器视觉来识别它们到底有没有发生。但经常遇到的情况是，许多明显的缺陷，因为之前没有发生过，或者发生的模式过分多样，而被漏检。如果换做是人，虽然在操作流程文件中没让他去检测这个缺陷，但是他会注意到，从而有较大几率抓住它，而机器视觉在这点上的“智慧”目前还较难突破。
