自動駕駛系統的研發難點主要包括以下幾個方面。

首先是法律法規，這是無法輕易跨越的障礙。在 L5 級別完全自動駕駛的情況下，只要路上還有人類駕駛的車輛，就可能出現未訓練過的場景，導致事故發生，而法律在責任認定等方面存在諸多空白。

其次是安全性和普及的悖論。L5 無人駕駛難以做到零事故，安全性存疑，推廣受限。只有當所有車輛都是 L5 時，由交通大腦統一調度才能實現零事故，但無法事先驗證安全性又難以強制推廣。

然后是環境感知和定位。需要通過多種傳感器獲取大量環境信息，如攝像頭、激光雷達、毫米波雷達等，還要解決不同傳感器在不同環境下的性能問題，以及傳感器之間的數據融合和校準。

再者是決策規劃。要融合多傳感器信息進行任務決策，規劃出安全且最優的路徑，涉及全局規劃和局部規劃，不同的規劃算法和體系結構各有優劣，需要權衡選擇。

還有高精度定位，商用 GPS 精度不夠，易受干擾，需要開發如基于視覺增強的高精度定位技術等解決方案。

最后是控制與執行，包括車輛的縱向和橫向控制，涉及對電機驅動、傳動和制動系統的精準控制，以及不同控制算法和模型的結合。

總之，自動駕駛系統的研發面臨諸多難題，需要多領域技術的協同創新和突破。