소개
딥러닝 응용 분야에서 서비스형 머신러닝, 즉 MLaaS가 주목받고 있습니다. 그러나 클라이언트와 서버가 함께 추론하는 구조에서는 프라이버시가 중요한 과제가 됩니다. 서버가 사용자 장치의 원본 데이터를 처리하는 환경에서는 특히 그렇습니다.
DEEPINGSOURCE는 이 문제를 해결하기 위해 클라이언트 장치에 난독화 함수인 _obfuscator_를 직접 적용하는 방법을 제안했습니다. 이 접근법은 프라이버시를 강화하면서 데이터를 효율적으로 처리하는 것을 목표로 합니다.
여러 데이터셋에서 기존 기법과 비교해 이 방법을 검증했습니다. 정확도, 연산 효율, 메모리 사용량, 정보 유출 및 복원 공격에 대한 저항성을 평가한 결과, 제안한 방법이 비교 기법보다 일관되게 높은 성능을 보였습니다.
이 결과는 성능을 희생하지 않고 클라이언트가 데이터를 보호하는 프라이버시 보존형 머신러닝으로 나아갈 수 있음을 보여줍니다.
적대적 위협에 대응해 엣지 장치의 프라이버시 지키기
공격자가 CCTV 카메라나 IoT 장치 같은 엣지 장치를 통제한다고 가정합니다. 장치에는 obfuscator 모델이 있고, 원본 데이터는 전송 전에 변환됩니다. 공격자는 원본 입력과 난독화 표현의 쌍으로 자체 데이터셋을 만들어 적대 모델을 학습할 수 있습니다. 공격자가 원래 학습 데이터셋과 서비스 제공자 모델의 구조까지 알고 있다고도 가정합니다. 서비스 제공자가 프라이버시를 보호하기 어려운 강한 위협 모델입니다. 연구는 이런 조건에서도 제안한 방법이 프라이버시를 보호함을 보여줍니다.
이 환경에서 공격자는 엣지 장치의 난독화 모델을 이용해 전송 전 원본 데이터를 조작하고, 원본 입력과 난독화 표현의 쌍으로 적대 모델을 학습할 수 있습니다. 원래 학습 데이터와 모델 구조까지 알고 있다는 가정은 프라이버시 보호의 난도를 높입니다.
프라이버시를 보호하는 데이터 전송 구조
그림 1. 위는 제안 방법의 학습 구조, 아래는 적대 공격이 가능한 추론 환경입니다.
이 접근법은 일반적인 합성곱 신경망, 즉 CNN을 두 부분으로 나눕니다. 앞쪽 계층은 클라이언트 측 인코더로, 뒤쪽 계층은 서버에서 작업을 수행하는 모델로 사용합니다.
클라이언트 측 인코더가 입력 데이터를 처리해 단순화된 표현을 만들고, 여기에 무작위 노이즈를 더합니다. 신호에 작은 잡음을 추가하는 것과 비슷하며, 전송 데이터를 가로챈 사람이 내용을 이해하기 어렵게 만듭니다.
변형된 표현만 클라이언트에서 서버로 전송합니다. 원본 데이터의 프라이버시를 보호하면서 서버는 필요한 작업을 수행할 수 있습니다.
시각 복원 평가에서 확인한 프라이버시 방어
그림 2. 제안 방법과 MaxEnt를 제외한 다른 방법은 복원 공격 방어에 실패했습니다. Image Noise와 No Noise(RN18_4) 등 일부 방법은 개인의 정확한 신원 노출은 막았지만 성별이라는 민감 속성을 제거하지 못했습니다.
그림 2는 복원 공격을 받은 여러 방법의 시각적 결과를 보여줍니다.
DeepObfs., DISCO, Image Noise의 복원 결과는 원본 이미지와 신원이 조금 달라졌지만, 성별과 같은 민감 속성은 여전히 구분할 수 있었습니다.
No Noise 방법은 신원과 배경 맥락을 효과적으로 지운 것으로 보였지만, 성별을 구분할 수 있는 흔적은 남았습니다.
제안 방법과 MaxEnt만 복원 공격을 효과적으로 방어하며 신원과 민감 속성을 함께 보호했습니다.
사용자 연구로 본 사람의 인지와 프라이버시 보호
그림 3. 복원 이미지에 대한 사용자 연구 결과입니다.
복원 공격에 대한 제안 방법의 견고성을 사람의 인지 관점에서 확인하기 위해 사용자 연구도 진행했습니다.
그림 3의 각 난독화 기법으로 이미지를 가린 뒤 공격을 적용했습니다. 참가자 30명에게 이미지 속 사람이 웃고 있는지 판단하는 Smiling 활용성 작업과 성별을 판단하는 Gender 프라이버시 작업을 수행하게 했습니다.
제안 방법은 기존 방법보다 민감 정보를 사람에게서 더 효과적으로 숨겼습니다. 사람의 시각과 인지 기준에서도 프라이버시 보호 효과를 확인한 결과입니다.
결론
적대 공격 환경에서 민감 정보를 보호하는 방법을 여러 평가와 사용자 연구로 살펴봤습니다.
제안 방법은 공격에 견고했으며 사람의 인지 결과와도 일치했습니다. 복원 공격을 받은 뒤에도 사람이 민감 속성을 구분하기 어렵게 만들어 방법의 효과를 확인했습니다.
이론적 벤치마크와 실제 사용자 연구에서 모두 기존 기법보다 높은 성능을 보였습니다. 조직은 이 접근법으로 프라이버시 기준을 유지하면서 머신러닝 솔루션을 적용할 수 있습니다.
