智能視頻分析指計算機圖像視覺分析技術，通過將場景中背景和目標分離進而分析并追蹤在攝像機場景內出現的目標。用戶可以根據的視頻內容分析功能，通過在不同攝像機的場景中預設不同的報警規則，一旦目標在場景中出現了違反預定義規則的行為，系統會自動發出報警，監控工作站自動彈出報警信息并發出警示音，用戶可以通過點擊報警信息，實現報警的場景重組并采取相關措施。

    然而在實際環境中光照變化、目標運動復雜性、遮擋、目標與背景顏色相似、雜亂背景等都會增加目標檢測與跟蹤算法設計的難度，其難點問題主要在以下幾個方面：

    背景的復雜性：光照變化引起目標顏色與背景顏色的變化，可能造成虛假檢測與錯誤跟蹤。采用不同的色彩空間可以減輕光照變化對算法的影響，但無法完全消除其影響；場景中前景目標與背景的相互轉換，與行李的放下、拿起，車輛的啟動與停止；目標語背景顏色相似時會影響目標檢測與跟蹤的效果；目標陰影與背景顏色存在差別通常被檢測為前景，這給運動目標的分割與特征提取帶來困難。

    目標特征的取舍：序列圖像中包含大量可用于目標跟蹤的特征信息，如目標的運動、顏色、邊緣以及紋理等。但目標的特征信息一般是時變的，選取合適的特征信息保證跟蹤的有效性比較困難。

    遮擋問題：遮擋是目標跟蹤中必須解決的難點問題。運動目標被部分或完全遮擋，又或是多個目標相互遮擋時，目標部分不可見回造成目標信息缺失，影響跟蹤的穩定性。為了減少遮擋帶來的歧義性問題，必須正確處理遮擋時特征與目標間的對應關系。大多數系統一般是通過統計方法預測目標的位置、尺度等，都不能很好地處理較嚴重的遮擋問題。

    兼顧實時性與魯棒性：序列圖像包含大量信息，要保證目標跟蹤的實時性要求，必須選擇計算量小的算法。魯棒性是目標跟蹤的另一個重要性能，提高算法的魯棒性就是要使算法對復雜背景、光照變化和遮擋等情況有較強的適應性，而這又要以復雜的運算為代價。