TOE (TCP/IP offload engine)

TOE는 스루풋을 최적화하기 위한 목적으로 고속 이더넷 시스템 내에 인지도를 늘려주는 기술이다. TOE 구성 요소들은 네트웍 카드나 HBA 등과 같은 다양한 PCB 중 어느 하나에 병합된다.

최근 몇 년 사이에 이더넷 시스템 내의 통신속도는 컴퓨터 프로세서의 처리속도보다 더 빨라졌다. 바로 이점이 입출력 병목 현상을 초래한다. 프로세서는 입출력보다 계산을 우선하도록 설계되었기 때문에, 네트웍을 통해 흐르는 데이터의 속도를 따라잡을 수 없다. 이러한 이유로 TCP/IP의 데이터 흐름은 네트웍 속도보다 더 느린 속도로 처리된다. TOE는 마이크로프로세서와 입출력 시스템으로부터 부담을 제거함으로써 이 문제를 해결한다.

TOE가 구현되는 방식은 고객의 요건에 달려있는데, 이때 고려해야 할 사항으로는 유연성, 범위성 그리고 성능 등이 포함된다. 네트웍 성능과 범위성은 ASIC 구현의 최적화로, 그리고 네트웍 유연성은 프로세서 기반 구현의 최적화로 달성된다.


네트워크 속도가 기가비트 이더넷(Gigabit Ethernet)과 10 기가비트 이더넷으로 발전함에 따라 호스트 프로세스는 실제 업무를 수행하는 것보다 TCP/IP 프로토콜 스택을 처리하는데 더 많은 CPU 사이클을 사용하게 되었다. 특히 IP를 통한 스토로지 데이터 전송을 수행하는 iSCSI 프로토콜에서 TCP/IP 오버헤더로 인한 성능 저하가 현격하게 발생하고 있다. 따라서 이러한 대용량의 IP 네트워크 처리에 있어 CPU의 부담을 덜어주기 위한 방법으로 TCP/IP 기능을 하드웨어로 구현하는 TCP Offload Engine(TOE) 기술이 부각되고 있다. 본 고를 통하여 기존의 TCP/IP 처리 방법과 문제점을 살펴보고 이러한 문제점을 해결하기 위한 Offload 기술을 살펴본다. 또한 현재 시장에 출시되는 기가비트, 10기가비트 TOE 제품들의 특징들을 살펴본다. ▧


I. 서 론

TCP/IP는 가장 널리 사용되는 컴퓨터 간의 통신 프로토콜이다. 그러나 불행히TCP/IP는 현재 서버 호스트 CPU의 가장 큰 부하로 작용하고 있다. 일반적으로 1bit/sec의 TCP/IP 데이터를 처리하는데 1Hz의 CPU 사이클이 필요하다. 즉 10/100Mbps 네트워크 속도에서 CPU는 TCP/IP를 처리하는데 큰 어려움이 없었다. 그러나 기가비트 이더넷의 출현으로 서버CPU는 TCP/IP 처리에 대부분의 사이클을 소모하게 되었다. (그림 1 (a))에 의하면 CPU 속도는 18개월마다 2배씩 증가하지만 NIC 대역폭은 그보다 훨씬 더 빠르게12개월에 3배씩 증가하고 있다. 네트워크 대역폭은 무어의 법칙을 훨씬 앞서가고 있는 것이다[4]. 예를 들면10 기가비트 이더넷만을 처리하기 위해서 전이중 통신을 고려할 때 20GHz의 프로세스가 필요하다. 이는 2007년에나 가능한 일이다. 더욱이 최근들어 TCP/IP 프로토콜 위에 SCSI 프로토콜을 올린 iSCSI 란 네트워크 스토로지 프로토콜의 출현과 네트워크로 연결된 한 컴퓨터에서 다른 컴퓨터로 직접 메모리 데이터를 액세스하는 RDMA(Remote Direct Memory Access) 기술 모두 TCP/IP 가속 기술이 먼저 선행되어야 가능한 기술이다.

TCP/IP Offload Engine(TOE)은 CPU의 TCP/IP 패킷 처리의 부하를 NIC 하드웨어가 처리하는 TCP/IP 가속 장치이다. (그림 1 (b))와 같이 TOE는 소프트웨어가 담당하던 Transport, Network 계층을 하드웨어가 담당하도록 한다. 그러나 소프트웨어가 담당하던 다양하고 복잡한 TCP/IP 처리를 하드웨어로 모두 구현하기는 힘들다. 따라서 TOE를 생산하는 업체들은 각기 Offloading 수준을 달리하고 있다. 본 고를 통하여 기존의 TCP/IP 프로토콜 구조와 문제점을 살펴보고 이를 개선한 TOE 구조와 특징에 대해 살펴본다. 또한 TOE 제품을 생산하는 업체들의 동향을 살펴보기로 한다.





II. TCP/IP 프로토콜 문제점

1. TCP/IP 프로토콜 기능

TCP/IP 프로토콜은 데이터 전송에 사용되는 표준으로 LAN이나 WAN 에 광범위하게 사용되고 있다. IP 레이어는 송수신 IP 주소를 포함하고 있으며 비연결성 특징을 가지고 있다. TCP 레이어에서는 데이터 스트림 서비스를 위해 신뢰성 있고 연결 지향적인 서비스를 제공한다. 일반적으로 인터넷 프로토콜로 사용되는 FTP, HTTP 등은 모두 TCP를 이용하고 있다. TCP 계층에서는 체크섬(checksum)을 통하여서 패킷의 헤더뿐 아니라 패킷 데이터까지 전송 시 발생하는 오류를 검사하고 있다. 초기 연결 시 설정되는 MSS(Maximum segment size)를 기준으로 패킷의 분할, 조립 기능을 수행한다. 또한 시퀀스 번호(Sequence number)를 통하여 순서대로 도착하지 않은 데이터들에 대한 정렬 기능을 제공하고 있다. 슬라이딩 윈도(sliding window) 기법을 통하여 수신부의 버퍼 상태를 파악하여 송신부에서 흐름 제어(Flow control)를 수행하며 반대로 송신부에서 나타내는 슬라이딩 윈도를 통하여 혼잡 제어(Congestion control)을 수행한다. 또한 TCP는 포트 제어를 통하여서 여러 가지 애플리케이션의 데이터를 다중화하여 송수신을 담당한다.

2. Traditional TCP/IP 구조와 문제점

TCP/IP 프로토콜은 (그림 2)와 같은 레이어 프로토콜들로 이루어져 있다. 이는 소프트웨어로 구현되어 있으며 OS에 포함되어 있다. TCP 프로토콜과 애플리케이션의 인터페이스는 소켓(socket) 인터페이스가 이용된다.





(그림 2)와 같은 인터페이스를 통해 애플리케이션이 네트워크를 통해 데이터를 보낼 경우 다음과 같은 데이터 이동과 프로토콜 작업을 거치게 된다.

애플리케이션이 전송할 데이터를4~64KB 크기로 TCP/IP 소켓 인터페이스에 기록하면 OS는 데이터를 MTU(maximum transmission unit) 사이즈에 맞게 분할한 후 TCP/IP 헤더를 추가한다. 이후 OS는 데이터를 NIC 카드의 송신 큐로 복사를 한다. NIC은 TCP 버퍼 영역에서 NIC로 DMA 전송을 수행하며, 전송 종료를 알리는 인터럽터(Interrupts)가 발생하게 된다. 이러한 전통적인 TCP/IP 처리에는 다음과 같은 문제점이 있다.

- 인터럽트: 프로세스는 매 패킷이 더 할 때마다 패킷 헤더 처리를 위한 인터럽트가 발생하게 된다. 이는 대용량 데이터 전송 시 큰 부하로 작용한다.

- Context Switch 문제: 입력되는 패킷은 커널 레벨 프로세스를 위해서 컨텍스트 스위치가 필요하다. 사용자 영역(user space)에서 커널 영역(kernel space)으로 전환 시 데이터 전송의 초기화 혹은 종료가 필요하다.

- 메모리 복사: (그림 3)은 송수신시 일반적인 NIC 카드의 데이터 복사 과정을 나타낸다. 송신 시 NIC은 먼저 애플리케이션 사용자 영역에서부터 OS 커널 영역으로 데이터 복사가 필요하다. 이후 NIC 드라이버는 커널에서 NIC 패킷 버퍼로 복사를 수행한다. 즉 두 번의 복사가 이루어진다. 반면 패킷을 수신할 경우, 먼저 NIC은 수신한 패킷을 메인 메모리에 위치한 NIC 버퍼에 저장한 후 이를 TCP 버퍼에 복사하고 이후 최종적으로 애플리케이션 영역에 복사한다. 총 세 번의 복사가 이루어지는 것이다. 만약 TOE를 사용한다면 NIC 버퍼가 필요없이 두 번의 복사만으로 처리가 가능해진다. 또한 TOE 를 사용한 RDMA는 제로카피(Zero Copy) 알고리즘에 의해 한 번에 애플리케이션 버퍼에 복사가 가능해진다.





- 프로토콜 처리: 각각의 입출력 패킷은 TCP/IP 모든 스택을 거치면서 앞서 TCP/IP 프로토콜 기능에서 언급한 TCP/IP 패킷 처리가 이루어진다. 이는 애플리케이션 처리에 사용될 CPU 활용도를 크게 저하시킨다.

III. TOE 구조와 특징

기가비트 이더넷으로 네트워크 속도가 빨라짐에 따라 이러한 전통적인 이더넷 NIC 카드에서 CPU의 TCP/IP 처리의 부담을 덜어 주는 방법이 점차 늘어나고 있다. 다수의 기가비트 이더넷 컨트롤러에는 호스트 오프로드 특징으로TCP/IP/UDP 체크섬이나 TCP 분할(segmentation)을 하드웨어로 구현하고 있다[5].

체크섬은 데이터 무결성을 체크하기 위해 사용되며 송수신측에서 16비트 1의 보수 합으로 계산되어진다. TCP/IP/UDP 체크섬 오프로드 기술은 TCP와 IP 레이어에서 수행되는 체크섬 계산을 호스트 CPU가 담당하지 않고 NIC에서 처리하는 방법이다. IP 체크섬은 헤더만 이루어지며 TCP/UDP 체크섬의 경우에는 데이터까지 모두 계산하게 된다.

TCP 분할 오프로드는 기존의 OS가 전송 데이터를 MTU 사이즈로 분할하는 작업을 담당한다. TCP 분할이 오프로드됨으로 대용량의 데이터를 송신할 때에 OS가 TCP 분할의 부담을 덜 수 있다. 이는 기가비트 이더넷과 같은 대용량의 메시지를 송신할 경우 매우 유용하다. 그러나 작은 패킷들이 많을 경우, 연결이 자주 끊기는 상황 등에서는 효과가 없다. 뿐만 아니라 수신측에는 전혀 도움이 되지 않는다.

그러나 이 두 가지 오프로드만으로 높은 성능을 기대하기는 힘들다. 따라서 기존의 OS가 수행하는 TCP/IP 프로토콜 처리의 많은 부분을 오프로드한 TOE 제품들이 개발되고 있다. TOE를 구현하기 위해서는 TCP/IP를 처리하는 NIC 카드와 이 카드에 특화된 TCP/IP 소프트웨어 구현이 필요하다. (그림 4)는 완전한 TOE 기반의 TCP/IP 통신 스택을 나타내고 있다. (그림 2)의 스택과 달리 커널 영역에서 담당하던 TCP/IP 처리가 없으며 사용자 영역에서 커널 영역을 거치지 않고 TOE로 직접 접근이 가능하다.





TOE 구현은 오프로드 정도에 따라 크게 두 가지 형태로 나뉜다. TCP/IP의 일부 기능을 하드웨어로 구현하는 부분적 오프로딩(Partial offloading)과 모든 기능을 구현하는 전체 오프로딩(Full offloading) 방법이 있다. 일반적으로 부분적 오프로딩을 데이터 패스 오프로딩(Data path offloading)이라 부르며 이는 TCP/IP 데이터 송수신에 관련된 기능만을 하드웨어로 구현한다. 반면 전체 오프로딩은 데이터 송수신 기능뿐 아니라 TCP/IP 패킷을 처리하기 위한 TCP 연결 설정, 타임아웃, 오류 처리, 혼잡 제어, 슬라이딩 윈도 제어, ACK 처리 등과 같은 다양한 제어 기능들까지 모든 TCP/IP 기능을 하드웨어로 구현한다.

TOE NIC구현 방법에는 크게 프로세스 기반 구현 방법과 칩(ASIC) 기반 구현 방법이 있다. 프로세스 기반 구현 방법은 시중에 출시된 네트워크 프로세스를 사용하여 빠르고 유연성(flexibility) 있는 설계가 가능하나 칩 기반 구현에 비해 높은 가격과 낮은 성능의 단점을 가지고 있다. 따라서 대부분의 TOE 업체에서는 TCP/IP 오프로딩을 위한 전용 칩을 개발하여 칩 기반의 TOE를 구현하고 있다.

IV. TOE 제품 동향

현재 시장에 출시된 TOE 제품들은 대부분 iSCSI 나 RDMA 프로토콜과 결합된 형태이며 각 업체마다 TCP/IP 오프로딩 수준 및 기능상에 차이를 보이고 있다. 출시된 제품은 대부분 기가비트 이더넷 제품이며 2004년부터 10기가비트 TOE 제품도 출시되고 있다. 먼저 대표적인 TOE 업체의 제품 구조와 특징을 살펴본 후, 최근 출시된 10 기가비트 TOE 제품에 대해서 살펴보자.

1. 기가비트 TOE 제품

가. Alacritech

Alacritech은 SLIC(session-layer interface control)이란 데이터 패스 오프로딩 기술을 기반으로 한 TOE 제품을 출시하고 있다. IPP(Internet Protocol Processor)란 TOE 내장 프로세스를 통하여서 TCP/IP 송수신 데이터를 처리하며, 에러나 제어 등은 기존 소프트웨어가 담당하도록 구성하였다. (그림 5)는 Alacritech 의 TOE 제품인 IPP 1000x1의 블럭도를 나타낸다. 10/100/1,000Mbit/s MAC이 내장되어 있으며 호스트 버스와 PCI 인터페이스를 제공한다. 메모리 인터페이스로 송수신 프레임 버퍼, 컨텍스트(Context) 저장을 위해 외부 32MB SDRAM을 사용하며, 컨피규레이션을 위한 ROM과 FLASH가 사용된다.

본 제품은 Linux는 물론 Window OS를 지원하며, 802.3ad Link Aggregation과 iSCSI를 지원하고 있다. IPP 1000x1는 데이터 패스 오프로딩과 함께 추가적으로 ACK, Slow-start 기능을 하드웨어로 구현하였다.





나. Adaptec

Adaptec은 전체 오프로딩을 온칩화하여 NAC-7711이란 TOE 제품을 출시하고 있다. (그림 6)은 Adaptec 사에서 발췌한 TCP/IP 오프로딩 준위를 나타내고 있다. No Offload 준위는TCP checksum과 TCP reassembly 기능만을 가진 기존의 기가비트 NIC 카드가 해당된다. Incomplete Offload 준위는 데이터 패스만 오프로딩한 Alacritech 제품이 해당된다. Complete Offload 준위는 Adaptec이 구현한 모든 TCP/IP의 기능이 해당된다.





NAC-7711은 기가비트 MAC 인터페이스를 제공하며, 데이터 처리를 위한 64MB SDRAM 온 보드 메모리를 사용한다. 또한 오프로딩 가능한 1,024개의 TCP 연결을 지원하고 있다. 현재 리눅스 OS만 지원하고 있다[8].

다. Broadcom

2004년 5월에 발표된Broadcom 사의 BCM5706 제품은 TCP 오프로드 기능과 iSCSI, RDMA 컨트롤러 기능을 하나의 칩으로 구현한 제품이다. 뿐만 아니라 기가비트 이더넷 PHY까지 내장되어 있다. 호스트 인터페이스로 PCI, PCI-X를 지원한다. (그림 7)은 BCM5706의 구조를 나타내고 있다.

“Fast Path” TCP 오프로딩으로 불리는 TOE는 Microsoft 사의 TOE Chimney 구조를 적용할 수 있으며 RDMA 기능을 활용하여 기존 TOE에서 사용하던 SDRAM 인터페이스 없이 호스트 메모리를 사용할 수 있는 장점이 있다. 추가적으로 Adaptive 인터럽트과 9KB Jumbo Frames을 제공하고 있다.





라. Qlogic

Qlogic은 iSCSI TOE PCI-X 호스트 버스 어댑터로 QLA4010 제품이 있다. 본 제품에 사용된 iSCSI 컨트롤러 ISP4010 제품은 두개의 RISC 프로세서를 탑재하여 iSCSI 와 TCP/IP 프로토콜의 전체 오프로딩을 구현하였다. 1Gpbs 전이중 방식을 지원하며 PCI-X 호스트 인터페이스를 가진다. ISP4010 제품은 (그림 8)과 같이 Remote backup, 스토로지 통합 등에 사용된다.





마. 기타

이 밖에 TOE 제품을 생산하는 많은 업체들이 있으며, 최근 NVIDA에 합병된 iReady 사의 ethernetMAX 칩은 기가비트 PHY, TCP/IP 전체 오프로딩, iSCSI 뿐 아니라 IPSec 기능까지 하나의 칩으로 구현하고자 했다. Siverback 사의 TOE는 TCP/IP 전체 오프로딩은 물론이고 64K TCP 연결을 지원할 수 있도록 설계되었다. <표 1>은 기가비트 TOE 제품의 비교표이다.





2. 10 기가비트 TOE 제품

가. Chelsio

Chelsio 사의 T110 TOE 제품은 10기가비트 이더넷을 지원하며 애플리케이션으로 iSCSI, RDMA를 지원하며, 호스트 인터페이스로 PCI-X를 지원하고 있다. T110의 가장 큰 특징은 TCP/IP 전체 오프로딩을 지원할 뿐 아니라 iSCSI와 RDMA 하드웨어 가속 기능까지 가능하다. TCP 처리량은 PCI-X 대역폭인 7.9Gbps 를 지원하며 iSCSI 처리량은 860MBps 이다. 특히 프로토콜 처리를 위해 VLIW(Very-Long Instruction Word) 구조를 채택하여 수천 개의 커넥션을 scalable 하게 지원할 수 있으며 64K TCP 커넥션을 지원하고 있다. 10 기가비트 이더넷의 사용자 애플리케이션 간의 최저 지연은 9.7us로 T110 제품은 LAN과 SAN 그리고 HPC 연결의 중요 수단이 될 것이다. (그림 9)은 T110 제품의 PCB 사진을 <표 2>는 제품 규격을 각각 나타내고 있다.







나. Intel
인텔에서는 지난 2003년 가을 IDF에서 네트워크 오프로딩 타임라인을 (그림 10)와 같이 발표하였다. Checksum, Interrupt Coalescing, 데이터 오프로딩을 거쳐 2004년에는 대부분 전체 오프로딩으로 TOE 제품이 발전하고 있다. 또한 2005년에는 TOE 위에 RDMA 프로토콜이 구현될 것으로 예측하고 있다.





업계 처음으로 출시된 10기가비트 이더넷 Intel PRO/10GbE LR Server Adapter 제품은 엄밀히TOE 로 분류하기는 힘들며 10 기가비트 이더넷 서버 어댑터로 분류 할 수 있다. 본 제품의 오프로딩 기술은 기가비트 이더넷 컨트롤러에 내장된TCP/IP분할과 송수신단의 TCP Checksum 과 동일하다. 16KB의 Jumbo Frames을 지원하고 있다.

본 제품은 (그림 11)과 같이 광 모듈과 Intel 82597EX 코어칩으로 구성되어 있다. 광 모듈은 IEEE 802.3ae 10GBASE LR 에 호환되며 Intel 82597EX 코어칩에는 4채널 XAUI 인터페이스와 10GMAC, PCI-X 호스트 인터페이스가 내장되어 있다.





V. 결 론

네트워크 속도가 빨라짐에 따라 CPU가 처리해야 할 TCP/IP의 양이 기하급수적으로 증가하고 있다. 이와 함께 iSCSI와 RDMA 프로토콜의 출현은 TOE의 필요성을 더욱더 크게 만들고 있다. 현재 시장에 출시된 TOE 제품들은 대부분 기가비트 이더넷 제품이나 점차 10 기가비트 이더넷 TOE 제품도 출시되고 있다. TOE 제품들은 기본적인 체크섬, TCP 분할에서 데이터 패스 오프로딩, 전체 오프로딩 등 각각 오프로딩 준위를 달리하고 있다. 앞으로 10기가비트 이더넷으로 네트워크가 진화함에 따라 TOE는 기술적으로 TCP/IP 오프로딩을 위한 전용 프로세서가 탑재되며, 그 적용 분야는 현재의 스토로지에서 더욱더 그 기능을 넓혀 가며 네트워크 보안과 유비쿼터스 환경에 적합한 TOE 제품으로 발전할 것으로 예상된다.