볼트의 소리 신호를 이용한 합성곱 신경망 기반 체결력 측정 방법

1. 서 론

볼트에 의한 기계식 조인트는 구조물의 결합에 효율성과 신뢰성에 의해 많이 사용되는 요소이다⁽¹⁾. 동력 전달과 같은 중요한 기능을 수행하기 위하여 부품들 간의 높은 기밀성 및 결합 강성의 유지가 필요하다. 볼트를 이용한 체결 구조물의 경우 다른 체결 방식에 비해 높은 강도와 강성을 제공하여 사용의 빈도가 높다⁽²⁾. 볼트 결합은 설계 요소로 볼트의 체결력, 소재, 재질, 형상 등이 체결된 구조물의 안정성 및 완성도를 결정한다. 설계 요소 중 체결력을 제외한 다른 부분은 볼트 자체를 생산할 때 이미 결정이 되어 필요한 설계치를 만족하기 쉬우나, 체결력은 생산 단계에서 결정되어 지속적인 관찰 및 관리가 필요한 요소이다.

일반적으로 볼트의 체결력을 측정하기 위한 방식으로 토크법이 사용되었다⁽³⁾. 볼트를 체결할 때 토크렌치를 이용하여 토크를 측정하고 토크와 체결력간의 선형 관계를 이용하여 체결력을 예측하는 방식이다. 토크법의 경우 측정이 간단하고 비용이 저렴한 장점이 있으나 토크 에너지의 상당 부분이 마찰에 의한 열에너지로 소산되어 체결력 산포가 최대 40 %까지 발생하여 정확한 측정 결과를 도출하기 어렵다.

볼트의 체결력을 측정하기 위한 다른 연구로는 초음파를 이용하여 체결력을 측정하는 방법이 있다⁽⁴⁾. 볼트에 초음파를 투과하고 비행시간(TOF)를 측정하는 방식으로 체결 전후의 볼트 인장 길이를 측정하는 방식이다. 볼트의 부하에 의하여 발생하는 파동 전파속도의 차이는 매우 작아 전파 시간을 측정 하는 방 식의 정확도는 높은 수준이다. 하지만 볼트의 가공이 필수적으로 필요하여 실제로 제조과정에서 사용하는 제품의 체결력을 실시간으로 측정하기 어렵다는 단점이 존재한다.

초음파를 이용하여 볼트의 인장 길이를 측정하고 훅의 법칙을 이용하여 체결력을 추정하는 방식과 유사한 방식으로 스트레인 게이지를 이용하는 방법과 체결 각도를 측정하는 방법이 있다^(5~7). 스트레인 게이지를 이용하는 방식은 볼트의 축과 게이지의 정확한 정렬이 필요하고 또한 실제 사용되는 볼트나 매립되는 형식의 볼트에 사용이 불가능하고 각도법은 볼트의 헤드가 착좌되는 시점을 정확히 제시할 수 없다는 단점이 있다.

또다른 방법으로는 직접적으로 와셔형 로드셸을 볼트 체결시 볼트 헤드와 구조물 사이에 설치하여 체결력을 측정하는 방법이 있다. 볼트의 체결력을 힘센서로 직접 계측하는 방법으로 높은 정확도로 결과를 도출할 수 있다. 실제 적용에는, 와셔의 두께로 볼트의 체결 깊이가 얕아지고 로드셸이 들어가 있는 형태로 제품이 제작된다. 따라서 실제 적용이 어렵다는 단점이 있다.

이 연구에서는 볼트의 체결 중 발생하는 소리 신호를 이용하여 높은 수준의 정확도로 체결력을 측정한다. 체결이 진행됨에 따라 볼트의 진동 특성이 변화하게 되고 이는 너트 러너의 구동 소음과 더불어 마이크를 통해 수집된다. 딥러닝을 위해 빅데이터가 필요하기 때문에 데이터 증강이 필요하다. 이산 신호의 곡선적합을 이용한 연속화 작업 후 데이터 추출 포인트를 시간 대역에서 변화시키며 새로운 신호를 생성한다. 생성된 신호는 원신호와 동일한 특성을 갖고 있으나 데이터의 값이 달라 서로 다른 데이터로 사용이 가능하다는 장점이 있다. 소리 신호의 특성이 볼트가 체결됨에 따라 다르게 발생하는데 이를 셉스트럼 해석을 통하여 시각화한다. 그림의 판별에 적합한 합성곱 신경망을 이용하여 분류하는 방식으로 체결력을 관측한다. 이 방법은 스마트 공장 구현에 필수적인 공정 변수의 실시간 관측을 가능하게 한다.

2. 마이크를 이용한 볼트 체결력 측정 실험

체결에 사용된 볼트의 소재는 SCM 435로 GEOMET® 아연 도금 처리되었다. 볼트의 길이는 70 mm 이고 직경은 10 mm의 M-10 볼트를 사용하였다. 볼트의 피치는 표준 규격인 1.25 mm 이다. 측정에 사용된 마이크는 B&K사의 4187 type 이고 Fig. 1 과 같이 고정 장치를 통하여 체결이 진행되는 볼트 근처에서 발생하는 볼트의 소음을 51 200 Hz의 샘플링 주파수로 측정하였다. 너트 러너의 토크를 60 r/min으로 일정하게 정한 후 50 Nm에서 75 Nm까지 5 Nm 단위로 체결하며 발생하는 체결력을 로드셀을 통하여 측정하였다. 체결에 사용된 너트 러너는 Atlas Copco 사의 모델을 사용하였다. 데이터 수집은 NI사의 cDAQ-9178과 9234 모델을 이용하여 수행하였다. MATLAB을 통하여 신호 처리, 데이터 증강 및 데이터 이미지화가 수행되었고 python을 이용하여 합성곱 신경망을 이용한 판별을 진행하였다.

Fig. 1

Experimental setup of bolt clamping force estimation with microphone and load cell

너트 러너를 이용하여 볼트의 체결이 진행될 때 볼트에서 발생하는 동특성 변화는 볼트 근처에 설치한 마이크를 통하여 측정된다. Fig. 2는 마이크를 이용하여 측정된 음향 신호이고 Fig. 3은 측정된 신호의 단시간 푸리에 변환(STFT)을 보여 준다. 체결의 경우 1.2 초에 시작하여 약 2.5 초에 완료된다. 체결이 완료되는 시점에서 너트 러너가 급격히 멈추며 이 때 발생하는 충격 신호가 3초 이후에 전 주파수 대역을 가진하는 것을 알 수 있다. 볼트의 체결이 진행됨에 따라 6000 Hz 부근의 주파수 성분이 고주파로 이동하는 것이 측정되었다. 전체 측정 신호의 길이는 5 초에 걸쳐 여유롭게 체결 진동을 측정할 수 있도록 하였다.

Fig. 2

Raw data of bolt fastening signal

Fig. 3

Short-time spectrum of the bolt fastening signal

3. 볼트 결합 구조물의 진동학적 특성

3.1 볼트의 인장력이 존재하는 보 모델링

볼트를 이용하여 체결을 진행할 때, 볼트의 인장은 진동 특성에 영향을 준다. 볼트를 회전하며 체결하면 볼트의 인장력이 증가하고 볼트 결합 구조물의 체결력이 증가하게 된다. 실험에 사용된 볼트를 에 대한 진동 모델링을 진행하였다. 체결력이 증가하는 볼트를 보로 가정하였을 때 운동 방정식은 식 (1)과 같이 표현할 수 있다.

$\[ EI\frac{{\partial }^{4}w}{\partial {\zeta }^4}-T\frac{{\partial }^{4}w}{\partial {\zeta }^2}+\rho A\frac{{\partial }^{2}w}{\partial t^2}=0 \]$

(1)

여기서 E는 보의 탄성계수, I는 관성모멘트, T는 인장력, ρ 는 보의 밀도, A는 보의 단면적, w는 변위, ζ는 보에서 진동이 측정되는 위치이고 t는 시간 변수를 나타낸다. 위의 식을 통하여 볼트의 체결력이 증가함에 따라 체결 신호의 주파수 성분이 증가함을 Fig. 4를 통해 알 수 있다⁽⁸⁾.

Fig. 4

Frequency component variations according to the increasing clamping force

4. 합성곱 신경망을 이용한 체결력 판별

합성곱 신경망은 딥러닝의 일종으로 이미지의 패턴이나 물체를 인식하는 시각처리 과정을 모방한 모델이다. 합성곱 신경망은 다층 신경망의 모델로 하나의 입력 계층(input layer), 출력 계층(output layer) 외에 하나 이상의 합성곱 계층(convolution layer), 풀링 계층(pooling layer)이 주요 판별 계층으로 사용되며 필요에 따라 덴스 계층(dense layer), 드롭아웃 계층(dropout layer)을 이용할 수 있다. 이 연구에서 사용한 합성곱 신경망의 구조는 Fig. 5와 같다.

Fig. 5

Architecture of convolutional neural network model

입력 이미지의 픽셀은 49 951이고 3×3크기의 합성곱 필터를 이용하여 이전 충에 대하여 왼쪽에서 오른쪽으로 위에서 아래로 지나가며 가중치를 곱한다. 출력된 결과를 다음 층에 전달하는 형식으로 합성곱 계층이 이용된다. 풀링 계층은 이미지의 크기를 축소하는 의도로 이용되는데 합성곱 계층에서 추출한 정보를 간단하게 만들고 노이즈를 감소시켜 판별에 도움을 준다. 이 연구에서 사용한 2×2 크기의 맥스 풀링 필터는 합성곱 필터와 동일한 방향으로 이미지를 분석하며 해당 필터 내에서 가장 큰 값을 도출하는 형태로 다음 층에 정보를 전달한다. 드롭아웃 계층은 과적합(overfitting)을 막기위하여 사용된다. 은닉 계층이 많은 딥러닝을 사용할 경우 학습용 데이터의 과적합이 발생할 수 있는데 지정한 비율의 뉴런을 제거하는 방식을 통해 이를 방지한다. 이 연구에서는 전체 판별 데이터의 25 %를 제거하였다. 드롭아웃은 전체 뉴런이 하나의 뉴런으로 움직이는 상호적용(co-adaptation)을 예방하기 위하여 사용되기도 한다⁽⁹⁾. 덴스 계층은 이전 계층을 통해 들어온 입력을 다음 레이어에 전달할 출력과 연결하는 역할을 한다. 입력 뉴런의 수와 출력 뉴런의 수의 곱만큼 가중치가 발생하게 되는데 딥러닝은 학습과정에서 이러한 가중치를 결정하게 된다. 덴스 계층의 경우 입력 뉴런의 수에 관계없이 출력 뉴런의 수를 설정할 수 있어 출력 계층 이전에 주로 사용하게 된다.

이 연구에서 사용한 클래스의 수는 14 로 각각의 클래스는 해당하는 체결력을 의미한다. 출력 계층은 이름과 동일하게 최종적으로 딥러닝을 통과하여 판별한 결과값을 출력하고 정답 유무에 대한 판별에 이를 이용한다.

5. 곡선 적합을 이용한 데이터 증강

딥러닝을 이용한 판별 모델의 경우 방대한 수의 데이터를 학습 단계에서 요구한다. 이를 해결하게 위하여 다양한 방식의 데이터 증강(data augmentation)이 개발되고 있다. 이 연구에서 목표하는 볼트 체결 신호의 경우 너트 러너의 토크 제어 방식을 이용하여 체결을 진행한 후 로드셀 장치를 이용하여 체결력을 특정하는 방식으로 취득한다. 이 때 사용되는 볼트의 경우 신품을 이용하여 측정을 진행한다. 체결력 측정을 위하여 많은 수의 볼트를 이용하여 다양한 종류의 데이터를 얻을 수 없기 때문에 데이터 증강을 위한 방법이 필요하다.

볼트를 체결할 때 발생하는 음향을 측정하여 신호처리를 이용한 이미지를 얻기 전에 raw data를 생성하였다. 데이터 생성을 위하여 MATLAB의 곡선 적합 중 스플라인 기능을 사용하였다. 음향 신호의 경우 연속적인 체결 소음을 마이크로 측정한 후 데이터 수집 장치를 이용하여 처리하는데 이 과정에서 데이터의 이산화 (discretization)가 발생한다. 이산화된 데이터를 곡선 적합을 이용하여 다시 연속적인 데이터로 재생산 한 후 데이터의 수집점 (sampling point)을 달리하며 원 신호의 형태를 유지하며 서로 다른 수집하여 새로운 학습용 데이터를 생성한다. 기본적인 개념은 Fig. 6과 같다.

Fig. 6

Basic concept schematic of resampling for vibration signal

6. 실험 결과 분석

측정된 데이터의 체결력 산포는 28 kN에서 41 kN 으로 판별에는 1 kN 단위로 총 14 구간에 대한 판별을 진행하였다. 아연 도금된 볼트의 경우 체결 중 발생하는 마찰이 적어 동일한 토크로 체결한 결과 대략 10 % 정도의 산포가 발생하였다. MATLAB을 이용하여 cepstral coefficient를 시간의 흐름에 따라 계산한 후 합성곱 신경망의 입력 데이터로 적용하였다. 딥러닝의 학습을 위하여 각 클래스 별로 200개의 데이터를 생성하였다. 딥러닝의 데이터셋 구성과정에서 흔히 사용되는 8:1:1의 비율과 비슷하게 총 2800개의 데이터 중 아래 Table 1 과 같이 2520개를 이용하여 훈련 (training)을 진행하였고 280개의 데이터는 확인 (validation)에 9:1의 비율로 사용하였다. 10개의 시험(test) 데이터를 이용하여 체결력을 판별한 결과는 Table 2와 같은 결과를 보여준다.

Table 1

Training and validation dataset

Table 2

Scatter of estimated clamping forces of relative deviation

7. 결 론

이 연구에서는 볼트 체결 중 발생하는 소리 신호를 이용하여 볼트의 체결력을 측정할 수 있는 실험적인 방법이 제시되었다. 볼트의 체결력을 측정하기 위하여 적용한 셉스트럼 도출에 대한 알고리즘을 제시하였다. 이미지 데이터 신호의 판별에 탁월한 합성곱 신경망 알고리즘을 소개 하였으며 총 4개의 합성곱 계층과 2개의 풀링 계층, 1개의 덴스 계층을 이용한 합성곱 신경망 모델을 볼트 체결력을 판별하기 위하여 구성하였다. 딥러닝에 필수적인 빅데이터의 취득을 위하여 곡선 적합을 통한 이산 신호의 연속화 및 샘플링에 대한 새로운 방법을 제시하였다. 체결력이 증가함에 따라 소리 신호의 주파수 성분이 증가하는 것을 확인할 수 있었고 이는 셉스트럼에서 상대적으로 낮은 파주수 대역의 변화로 관찰 되었다. 파주수의 변화를 이미지화하여 합성곱 신경망의 입력 데이터로 적용하였다. 일정한 토크로 체결을 진행한 결과 10 % 정도의 산포를 갖는 데이터를 얻을 수 있었고 결과에 제시된 바와 같이 매우 높은 정확도로 체결력을 관측할 수 있는 보존적인 방법을 제안하였다. 제안된 방법을 이용하여 실제 생산라인이나 정비 과정에 체결하는 볼트의 체결력을 실질적으로 측정할 수 있을 것으로 기대된다. 또한 제안된 데이터 증강 방법을 이용할 경우 볼트의 체결력 뿐 아니라 진동 신호와 같은 이산 신호를 이용하는 부분의 딥러닝에서 빅데이터를 수월하게 취득할 수 있을 것으로 예상된다.

이 연구에서 합성곱 신경망을 이용한 볼트의 실질적인 체결력 측정 방법을 제시 하였다. 제안된 모형을 이용하여 시·공간에 따라 특성이 변화하는 종류의 sound source, damping 등의 관측에 적용할 수 있을 것이다. 딥러닝은 복잡한 비선형적인 문제를 해결하는데 탁월하며 수작업을 통한 특징 추출 이외에도 비지도 혹은 반지도 학습을 효과적으로 수행하는 방법으로 개발이 진행되고 있다. 이 연구에서 예측한 결과의 향상을 위한 최적화 및 다양한 형태의 실험군에 적용하며 발전시킬 예정이다.

Acknowledgments

이 연구는 현대자동차㈜의 지원을 받아 수행한 연구 과제입니다.

References

• Lee, C. H., 2008, Measurement of Shear Contact Characteristics on Mechanical Joints, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 18, No. 8, pp. 849~855. [https://doi.org/10.5050/KSNVN.2008.18.8.849]
• Riccio, A., Ricchiuto, R., Di Caprio, F., Sellitto, A. and Raimondo, A., 2017, Numerical Investigation of Constitutive Material Models on Bonded Joints in Scarf Repaired Composite Laminates, Engineering Fracture Mechanics, Vol. 173, pp. 91~106. [https://doi.org/10.1016/j.engfracmech.2017.01.003]
• Yeaple, F., 1978, Bolt Torque Equations Predict Stresses, Product Engineering, Vol. 49, No. 10, pp. 28~33.
• Jhang, K. Y., Quan, H. H., Ha, J. and Kim, N. Y., 2006, Estimation of Clamping Force in High-tension Bolts through Ultrasonic Velocity Measurement, Ultrasonics, Vol. 44, pp. e1339~e1342. [https://doi.org/10.1016/j.ultras.2006.05.190]
• Fujinaka, T., Nakano, H. and Omatu, S., 2001, Bolt Tightening Control Using Neural Networks. Proceedings of the IEEE International Conference on Systems, Man and Cybernetics: e-Systems and e-Man for Cybernetics in Cyberspace (Cat. No. 01CH37236), Tucson, AZ, pp. 1390~1395.
• Fukuoka, T. and Takaki, T., 2004, Evaluations of the Tightening Process of Bolted Joint with Elastic Angle Control Method, Proceedings of the ASME/JSME Pressure Vessels and Piping Conference, pp. 11~18. [https://doi.org/10.1115/PVP2004-2617]
• Vand, E. H., Oskouei, R. H. and Chakherlou, T. N., 2008, An Experimental Method for Measuring Clamping Force in Bolted Connections and Effect of Bolt Threads Lubrication on Its Value, World Academy of Science: Engineering & Technology, Vol. 48, pp. 457~460.
• Toh, G., Gwon, J. and Park, J., 2019, Determination of Clamping Force Using Bolt Vibration Responses during the Tightening Process, Applied Sciences, Vol. 9, No. 24, p. 5379. [https://doi.org/10.3390/app9245379]
• Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I. and Salakhutdinov, R., 2014, Dropout: A Simple Way to Prevent Neural Networks from Overfitting, Journal of Machine Learning Research, Vol. 15, No. 1, pp. 1929~1958.