솔더원(SoterOne)은 새로운 분산 관리 시스템을 사용하여 연합 학습 과정과 SoterOne 생태계를 결합합니다. 이를 SoterOne 서비스라고 합니다. 이번 특허 기사에서는 SoterOne 서비스의 세부 사항과 혁신을 소개하고자 합니다.

1. 연합 학습

연합 학습은 원본 데이터를 교환하지 않은 상황에서도 여러 참여측의 데이터 모델을 훈련 할 수 있는 기계 학습 기술입니다. 이는 개인 정보를 보호하면서 여러측간의 데이터를 연결할 수 있습니다.

그러나 연합 학습 운행은 일부 분야에만 있으며 아직 공개되지는 않습니다.

대중에게 공개하면 아래와 같은 문제에 직면하게 됩니다.

1) 대중은 분산되어 있기에 잘못된 정보를 보고 할 수 있습니다. 실행 환경을 알 수없는 참가자의 경우 공동 학습 작업을 조정하기에 좋은 솔루션이 없습니다.

2) 대중은 데이터 사용하는데 더 큰 제한이 있습니다.

3) 더 많은 공용 사용자에 직면하려면 탈중아화 되고 분산된 관리 시스템이 필요합니다. 단일 자원과 잠재적인 고장으로 인해, 악의적인 행동의 탐지기는 탈중아화 되어야합니다.

2. SoterOne 서비스와 기능

SoterOne 서비스의 개발 이념은 연합 학습을 위한 분산식 관리 시스템을 제공하는 것입니다. 본 시스템은 다양한 측면에서 데이터의 잠재력을 탐색하는데 도움이 되도록 대중이 사용할 수 있습니다.

본 관리 시스템은 잘못된 정보를 보고하고 악의적 또는 사기성 있는 공개 당사자를 처벌 할 수 있으며, 다양한 사용자의 프라이버시 보호 요구를 충족할 수 있습니다.

SoterOne 서비스는 참가자가 정확한 정보를 보고하도록 장려하기 위해 신용 피드백 메커니즘을 도입했습니다. 신용점수의 정의 공식은 다음과 같습니다.

Q는 신용 업데이트 함수입니다. 관리 시스템, 품질 관리 피드백 및 기존 신용 점수는 모두 업데이트한 점수에게 기여합니다. 신용 점수는 QC의 향후 참조를 위해 공개적으로 표시됩니다. 또한 조회시, 관리 시스템에서 잘못된 자원 배치 파일을 감시하면 우선급이 취소됩니다.

또한 SoterOne Service는 자연스러운 분산식 시스템입니다. 각 구성 요소를 마이크로 서비스로 분할하고 수평으로 확장 할 수 있습니다.  

SoterOne 서비스 관리 시스템에는 다음과 같은 네 가지 주요 책임이 있습니다.

1. 노드 관리

2. 데이터 세트 메타 데이터 관리

3. 조회 관리

4. 자원 관리

3. SoterOne Service의 세부 작업 방식

A. 노드 관리(Node Manager 9): 노드 관리(Node Manager 9):연합 학습 과정 에 참여한 모든 당사자(DO 3, MPC 4 및 QC 5)는 관리 시스템에서 관리합니다. 그들의 개인 정보는 가입 및 유지되어야 합니다.

QC는 사용자 인터페이스에서 연합 학습 과정을 시작하는 고객입니다. 그들은 암호화된 RESTful API 6와 시스템 위에 구축된 네트워크 서비스와 통신합니다. 먼저 데이터 세트 / MPC 목록에서 필요한 데이터 세트와 MPC 노드를 선택하여 연합 학습 과정을 시작하고, 모델과 데이터 구성을 업로드하여 연합 학습 조회를 구성하며 마지막으로 학습 과정을 시작합니다.

DO / MPC는 연방 학습 과정에서 데이터 및 컴퓨팅 자원의 소유자입니다. 그들은 플랫폼에서 제공하고 실행 가능한 이진법 파일을 실행하고 암호화된 RPC 7을 사용하여 플랫폼과 통신합니다. 이러한 이진법 파일은 자체적으로 플랫폼에 가입되고 주기적으로 하트비트 신호를 관리 시스템에 전송하여 활약도와 자원 사용 스냅샷을 보고합니다.

만일 DO/MPC/ QC가 모든 작업을 완료하고 플랫폼에서 나가기로 결정하면 플랫폼에서 로그오프 할 수 있으며 모든 민감한 정보는 정리되고 제거됩니다.

프라이버시 보호 문제로 인해 개인은 자신이 소유한 자원만 액세스 할 수 있습니다. 모든 요청은 권한 인증 확인을 거치며 권한 인증 설정이 정확하지 않으면 관리 시스템에 의해 차단 될 수 있습니다.

B.데이터 세트 메타 데이터 관리（Dataset metadata Manager 10）：데이터 세트 메타 데이터는 데이터 소유자 (DO)가 CLI를 통해 업로드하고 관리 시스템에 의해 통합됩니다. 업로드 과정에서, 모든 민감한 데이터가 차단됩니다. 만일 업로드되면 관리 시스템은 QC가 가장 적합한 데이터 세트를 확인할 수 있도록 다양한 방법으로 그룹을 나누고 필터링합니다. 본 플랫폼은 더 많은 연합 학습 기회를 탐색하여 더 많은 QC를 유치할 것입니다.

데이터 세트 / MPC 목록도 관리 시스템에 표시됩니다. 이는 데이터 세트의 메타 데이터를 표시할 뿐만 아니라 선택 횟수, 성공/실패율과 작업 기록을 포함한 데이터 세트와 MPC의 사용 통계 정보도 추적합니다.

C.조회 관리 (조회 관리자 11): 연합 학습 조회는 QC에 의해 시작된 다음 관리 시스템에 의해 관리됩니다. 관리 시스템은 선택한 노드에 작업을 분배하고 전체 작업을 감시하며 성공/실패 상태를 QC에 반환합니다. 작업이 실패하면 관리 시스템은 실패 복구 프로세스를 작동하여 작업을 재개합니다. 작업이 재개 할 수없는 경우 관리 시스템은 프로세스를 정리합니다. 조회 관리 과정은 다음과 같습니다.

1. QC는 관리 시스템에 조회를 제출합니다.

2. 관리 시스템은 조회에 포함된 노드의 가용성 (MPC, DO 및 데이터 세트 호환성)을 검증 확인합니다. 조회 상태를 "query dispatched"로 설정하고 방송 채널 8을 통해 메시지를 방송합니다. 일반적인 방송 통신 채널은 P2P 네트워크와 블록 체인이 될 수 있습니다.

3. DO/MPC가 방송한 "QueryDispatched"메시지를 보면 다른 참가자와 연결하여 조회 실행 과정을 시작합니다.

4. 조회 과정이 시작된 후, 관리 시스템은 연합 학습 과정에 참여하지 않습니다. 이는 노드의 활동만 감시하고 결과를 기다립니다.

5. 일단 관리 시스템이 최종 결과를 수신하면 관리 시스템은 QC에게 전달하고 일정 시간 후 과정을 정리하여 모든 실체 방송에게"조회 정리" 소식을 전달합니다. 조회와 관련된 모든 정보가 DO / MPC에서 삭제되며, 관리 시스템만 조회 통계와 최종 죄회 결과를 저장합니다.

6. 만일 MPC가 학습 과정에서 붕괴하면 관리 시스템은 다른 MPC를 선택하여 "query MPCUpdated"메시지를 전송 합니다. 그중 이전 MPC와 새로운 MPC를 포함하여 편하게 전환하여 연결하도록 합니다.새로운 MPC는 MPC의 활력, 버전 및 신용에 따라 선택됩니다.

7. 만일 DO가 학습 과정에서 붕괴하면 관리 시스템이 통신 채널을 통해 "조회 실패"메시지를 방송합니다. 메시지를 받는 모든측은 내부 정리 과정을 시동합니다.

8.만일 이 과정에서 관리 시스템이 붕괴하는 경우 각 측은 계속하여 조회가 완료 될 때까지 조회를 계속 실행합니다. 최종 결과를 보유한 측이 다시 시도합니다. 만일 시간이 지난 후 관리 시스템을 사용할 수 없게되면 각측은 내부 정리 절차를 시동합니다.

D.자원 관리: 관리 시스템은 노드가 과부되는 것을 방지하기 위해, 노드의 자원 사용 상황을 관리합니다. 자원 컴퓨팅의 과부는 자원 사용 경쟁으로 될 수 있고 노드에서 실행되는 모든 연합 학습 작업에 영향을 미칠 수 있습니다. 각 노드는 가입 기간 자원 배치 파일을 보고하고 하트 비트를 통해 주기적으로 자원 사용 상황을 스냅샷하여 보냅니다.

SoterOne은 대중이 연합 학습 기술을 합리적 사용하도록 실현했고, 데이터 공유를 위한 안전하고 신뢰할 수 있는 실행 환경을 제공하는 동시에 데이터를 암호화하여 데이터 프라이버시를 보호하고 데이터의 사용 가치를 향상시켰습니다. 이것은 SoterOne이 창립한 초심이기도 합니다. 데이터 프라이버시 보호 문제에 대해 SoterOne은 암호화 기술과 머신러닝을 결합하여 암호화 버전의 머신러닝 알고리즘——수직 연합 학습을 위한 로직 회귀 알고리즘을 개발했습니다.다음주 특허에서 자세히 소개할 예정입니다!

• SoterOne 공식 웹사이트: www.soterone.com
• 한국어 공식 텔방: https://t.me/Soterone_korea