NextCloud 는 의외로 다양한 기능을 지원하는데, 그 중 하나가 llm 의 통합이다. llama 를 적당히 설정해서 연결하면, NextCloud 의 파일을 AI 가 들여다 보고 그걸 기반으로 추론하게 설정하게 할 수 있다고 한다.

내 오래된 NAS 에 GPU 한장 꼽아주면 다 해결될 일이지만, 애초에 케이스가 매우 작은데다가, 그나마 하나 있는 PCI-E 슬롯도 SSD 확장 용으로 사용하고 있다. 무엇보다 소비전력이 정말 간당간당하다. 가장 작은 GPU 를 끼워도 일단 30W 는 소모할테니, 전원부 업그레이드는 필수가 된다.

그 와중에 알리에서 이런 물건을 발견했다.

이스라엘 Hailo Technologies社의 NPU 모듈이다. Hailo-8L 이 13TOPS, Hailop-8 이 26TOPS ( INT4 기준…-_-;;) 다. 성능은 진짜 고만고만한데, 소비전력이 정말 환성적이다. 스펙시트에 나온 바로는 풀로드 5w 를 채 안넘는 수준이니 지금 내 NAS 에 끼워도 간당간당하게나마 어떻게든 소화가능한 수준이다.

저 모델은 시스템의 메모리를 공유하는 식으로 동작한다. 그런 이유로 아마 저기 나온 스펙조차도 채우기 힘들 수준의 속도가 나오지 않을까 싶긴 한데, 라즈베리 파이에 물려서 VGA 급 해상도의 영상인식을 시키는 예제를 보니 그래도 나름 60~90프레임 정도 뽑아주는것 같았다.

탐이 나는 건 Hailo-10H. 무려 자체 메모리가 달려있다. 4G, 혹은 8G 의 메모리가 달려있고 40TOPS ( 역시 INT4 기준, INT8 은 20TOPS ) 에 이르는 성능을 낸다. 사실 저정도면 벤치마크 숫자 상으로는 Apple M4 (물론, 다른 거 다 제끼고 NPU 만이다) 에 육박하지만, 아마 내 생각엔 아무리 잘해도 인텔 메테오레이크의 NPU 보다 나을 리가 없다.

가격은 36만원이 넘는다. 그 돈이면 그냥 RTX2060 중고로 구해다 달고 전원부, 케이스 업그레이드 하는게 더 나을수도 있다. 아니면 좀 더 보태서 8845HS 미니PC 를 사던가.

사실 저런 것에 내가 기대하는건 NAS 에 담긴 문서 파일의 종합적인 검색과 자동 태깅, 그걸 기반으로 폼 문서의 빈칸채우기, 그리고 저장된 사진들의 얼굴 기반 분류와 GPS 좌표를 종합한 데이터로 여러가지를 추론해 내는 거다. 효율적인 방문 순서라던가, 과거에 내가 갔던 곳을 짚어 준다던가.

그 이상의 작업은 클라우드 AI 서비스를 따로 이용하면 되니까, 저런 최소성능, 저전력의 기기가 참 탐이 난다.

일단 좀 기다려 보자. ollma 돌리는데 자체 제작 라이브러리니, 도커니 하는 이야기가 섞여 있는거 보면 좀 불안불안 하다.