빠른 시작
이 색인은 실행할 수 있는 기본 템플릿 벡터 커널을 처음부터 구성합니다. 커널 설계의 실행 가능한 다섯 가지 패턴은 하드웨어 결정을 한 번에 하나씩 추가합니다. 상수 덧셈, 요소별 곱셈, 내적, GEMV, GEMM에 대해 소스 코드를 기반으로 한 디바이스 및 호스트 오라클 워크스루는 이 한 장에서만 다룹니다.
검증의 의미와 주의 사항은 커널 검증에서만 정의합니다.
HBM은 호스트 전송에 사용되는 고대역폭 메모리이고, DM은 Tensor Unit이 사용하는 Chip 내장 Data Memory입니다.
이 기본 패턴들을 익힌 후에는 매핑, 이동, 계산, 엔드투엔드 사례, 스케줄링, 도구 순서로 계속 진행하십시오. 이제 고급 예제는 각 하위 시스템 장이 맡고, 여러 요소를 조합한 모델 튜토리얼은 엔드투엔드 사례 장이 Collect합니다.
하위 페이지를 순서대로 읽으십시오
설치 방법과 첫 번째 프로젝트는 설치와 도구를 읽으십시오. 텐서 형태와 축약 수학은 텐서와 축약을 읽으십시오. 실행 가능한 다섯 가지 패턴 섹션은 커널 설계를 읽으십시오. 컴파일, CPU, NPU, 스케줄 검증 근거는 커널 검증을 읽으십시오.
참조 장으로 계속 진행하십시오
실행 가능한 패턴은 한 번의 하드웨어 패스에 들어가고 Slice당 512 KB인 DM 용량 안에 들어가는 텐서를 처리합니다. 타일이 시간에 따라 순차적으로 실행될 때는 시간 분할을 사용하고, 타일이 병렬 하드웨어 유닛에 분산될 때는 공간 분할을 사용하십시오. 텐서 매핑, 텐서 이동, 텐서 계산 순서로 읽으십시오. 이 참조 장들을 읽은 후에는 관련된 매핑, 이동, 계산 장에서 알맞은 고급 패턴을 선택하십시오.
다음 패턴을 선택하십시오
예제를 선택하기 전에 세 참조 장에서 매핑, 이동, 계산 계약을 확립합니다. 커널에 다음으로 적용되는 제약 조건에 맞는 가장 단순한 예제 경로를 사용하십시오.
- 한 번의 패스에 들어가는 경우: 다음 단계로 넘어갈 필요가 없으며, 앞의 기본 패턴이 그대로 적용됩니다.
- 레이아웃 순열 또는 패킷 처리: 텐서 이동 아래의 사례 연구: Tensor Unit I/O를 읽으십시오.
- 리덕션 축이 여러 Chip이나 Cluster에 걸치는 경우: 텐서 계산 아래의 사례 연구: Chip/Cluster 리덕션을 읽으십시오.
- 조합된 모델 패턴: 엔드투엔드 사례 아래의 사례 연구: Transformer를 읽으십시오.