Untether AIは、AI推論アクセラレータカードのフォンノイマンアーキテクチャを再考します

データを移動するように設計された従来のフォンノイマンアーキテクチャの代わりに、tsunAImiアクセラレータカードで使用されるrun200AIデバイスは計算用に設計されています。処理要素は、分散処理配列を作成するためにメモリ内に配置されます。

runAI200デバイスは、整数データ型と1のバッチモードを使用します。メモリバンクには、512個の処理要素の2D配列を備えた385kバイトのSRAMがあります。チップあたり511のバンクがあり、これらを組み合わせてデバイスあたり200Mバイトを提供します。 「スポーツ」モードでの動作は最大502TOPSです。 「エコ」モードで構成され、8TOPSを提供します。

アクセラレータカードの計算能力は、batch = 1で80,000fpsを超えるResNet-50v 1.5スループット、つまり最も近い競合他社の3倍のスループットに相当すると同社は述べています。別のベンチマークテストでは、自然言語処理の場合、アクセラレータカードはBERTベースの1秒あたり12,000を超えるクエリを処理できると同社は述べています。これは発表されたどの製品よりも4倍速いとそれは言います。

runAI200デバイスは、費用効果の高い16nmプロセスを使用して製造されています。

推論のためのAIは、データセンターの重要な要素であり、その計算密度により、スマートシティやその他のAIおよび機械学習アプリケーションのパフォーマンスが向上します。

tsunAImiアクセラレータカードは、クラウドまたはサーバーで使用するための標準フォームファクターPCIExpressカードです。機械学習用のTensorFlowおよびPyTorchオープンソフトウェアをサポートしています。

アクセラレータカードに付属するために、Untether AI imAIgineソフトウェア開発キット（SDK）には、プッシュボタンによる量子化、最適化、物理的割り当て、およびマルチチップパーティショニングが含まれています。また、視覚化ツールキット、サイクル精度の高いシミュレーター、統合用のランタイムAPIも提供します。

tsunAImiアクセラレータカードは現在サンプリング中であり、2021年第1四半期に市販される予定です。imAIgineSDKは、一部の顧客およびパートナーと早期アクセスできます。