OpenCV 车道线识别 - 无穷大？

笔记整理自：https://www.bilibili.com/video/BV1qk4y1r7jw/

1 【基础操作】读取、展示、保存图片#

1
import cv2
2

3
img = cv2.imread('img.jpg', cv2.IMREAD_COLOR) # 读取
4
print(type(img)) # 获取 img 的类型，是 numpy 的矩阵
5
print(img.shape) # 获取 img 的大小（长、宽），位深度
6

7
cv2.imshow('image', img) # 显示图片
8

9
if cv2.waitKey(0) == ord('q'): # 直到键盘按下某个值，退出显示图片。
10
    cv2.destoryAllWindows()
11

12
cv2.imwrite('img_gray.jpg', img) # 保存图片

其中，IMGREAD_COLOR 是读取类型，是彩色。还有其他的类型：

IMREAD_GRAYSCALE：灰度图（那么 img.shape 将没有深度这一参数）

对于 imwrite() ，它会根据给定字符串中的后缀名，自动确定图片类型。必须给定合法的图片扩展名，否则会报错。

2 Canny 边缘检测#

梯度是有方向的：

代码实现：

1
import cv2
2

3
img = cv2.imread('img.jpg', cv2.IMREAD_GRAYSCALE)
4

5
edge_img = cv2.Canny(img, 50, 100) # 图片，上阈值，下阈值，需调节优化
6

7
cv2.imshow('edges', edge_img)
8
cv2.waitKey(0)

调高下边缘与上边缘，可以有效减小噪点数量。而车道线在灰度后，有非常强的边缘（黑与白），所以保持较高的阈值是方便的。

3 ROI mask - 获取要紧的区域#

ROI - Region Of Interest，感兴趣的区域。

1
import cv2
2
import numpy as np
3

4
edge_img = cv2.imread('edges_img.jpg', cv2.IMREAD_GRAYSCALE)
5

6
mask = np.zero_like(edge_img)
7
cv2.fillPoly(mask, np.array([[[0, 368], [240, 210], [300, 210], [640,368]]]), color=255) # 假设已经获取到了顶点坐标
8

9
masked_edge_img = cv2.bitwise_and(edge_img, mask) # 布尔和运算
10
cv2.imshow('masked', masked_edge_img)
11
cv2.waitKey(0)

4 霍夫变换，获取直线#

需要使用极坐标， $(r, \theta)$ 确定一条直线。

1
liens = cv2.HoughLinesP(edge_img, 1, np.pi / 180, 15, minLineLength=40, maxLineGap=20)

edge_img：要处理的图片
1：精度，值越大，考虑越多的线
np.pi/180：精度，值越大，考虑越多的线
累加数阈值，值越小，考虑越少的线
minLineLength：最短长度阈值，短于这个长度的线会被排除
maxLineLength：同一直线两点之间最大距离

返回一个列表，里面是直线的两个端点的坐标。

5 离群值过滤#

因为种种情况，可能有噪点被识别为车道线，而真正的车道线未被成功识别。

1
def reject_abnormal_lines(lines, threshold):
2
  slopes = [calculate_slope(line) for line in lines]
3
  while len(lines) > 0: # 不断重新计算斜率，直到群符合条件
4
    mean = np.mean(slopes)
5
    diff = [abs(s - mean) for s in slopes]
6
    idx = np.argmax(diff) # 找到差值最大的下标
7
    if diff[idx] > threshold:
8
      slops.pop(idx)
9
      lines.pop(idx)
10
    else:
11
      break
12
  return lines
13

14
# 分别对左、右车道线进行过滤
15
reject_abnormal_lines(left_lines, threshold=0.2)
16
reject_abnormal_liens(right_lines, threshold=0.2)

过滤后的效果：

6 最小二乘拟合 - 最后一步#

对于识别出来的这么多左车道线、右车道线，我们需要将它们合并成同一条完整的车道线。

1
import numpy as np
2

3
np.ravel() # 将高维数组压成一维函数（比如把矩阵变成数组）
4
poly = np.polyfit([0, 3, 6, 9], [0, 5, 9, 14], deg=1) # 多项式拟合，参数：几个 x 坐标，几个 y 坐标，多项式次数
5
np.polyval(poly, x0) # 多项式求值

ravel 示例：

7 车道线标注#

绘制直线：cv2.line

1
cv2.line(img, (10, 10), (200, 100), 255, 3)
2
# 图像，一个端点，另一个端点，色彩值（彩色图为(r, g, b)），宽度

8 视频流处理#

读取视频流：capture = cv2.VideoCapture('video.mp4') ，如果传入的是数字，就会使用相应序号的摄像头。读取：ret, frame = capture.read() ，分别读取状态、图片帧。

1
capture = cv2.VideoCapture('video.mp4')
2

3
while True:
4
  ret, frame = capture.read()
5
  # frame = show_lane(frame)
6
  cv2.imshow('frame', frame)
7
  cv2.waitKey(100) # 等待 100 ms

9 值得改进的地方#

边缘检测时，有很多弱边缘，可以尝试使用高斯模糊，或给它腐蚀一下，让弱边缘变得更模糊！这样就能有效过滤掉了。
左车道线只有一部分，很容易只画出一部分（如图），可以尝试使它延伸到图像边缘。