ChatGPTや他の形態の生成AIの人気の高まりは、ビジネスや社会にとって変革の時代の始まりを示しています。AIと機械学習（ML）は、しばらくの間ビジネスの価値を高めてきましたが、生成AIの突然の出現、特に大規模言語モデル（LLM）は、すべての業界に変化の波を引き起こしています。
SaaSの提供が生成AI分野で急増している中 — Open AIのChatGPTからAnthropicのClaude、GoogleのBard、Microsoft Bing AIまで — 企業はこれらの新しいサービスの利用を管理するガイドラインとポリシーを確立するために急いでいます。同時に、この強力でありながら新しい技術の影響に対処しようとしています — 個人情報の漏洩リスクを軽減し、知的財産を保護し、潜在的な誤情報や有害なコンテンツに対処し、意図しない著作権侵害を避ける方法について。
この急速に進化する環境で、組織にとって特に重要な問題は、生成AIを安全かつ効果的に使用する方法です。まさにこの分野で、最近導入されたSplashtop Secure Workspaceプラットフォームが役立ちます。
企業向けプライベートAIモデル
確かに、商業的な生成AI SaaSの提供は、提出されたデータを公共モデルの改善に使用しないと約束しています。しかし、すべての企業が、制御がほとんどないクラウドサービスにプライベートデータを送信することに安心しているわけではありません。一部の組織は、他の地域や国でホストされているサービスの使用を禁止する主権や規制の遵守を受ける可能性があります。
独自のLLMモデルをゼロからトレーニングするビジネスニーズがある企業や、特定のタスク（カスタマーサポート、金融アドバイザリーなど）に最適化されたLLMモデルを保護する必要がある企業は、プライベートAIモデルから利益を得ることができます。
独自のプライベート生成AIとMLOpsインフラストラクチャを構築する企業は、これらのツールの力を自社のIT管理下に置くことができ、オンプレミスでもプライベートクラウドでも、ビジネスニーズ、コンプライアンス、主権要件に合わせることができます。このセットアップにより、LLMへのクエリをトレーニング、微調整、または拡張するために使用される機密データや機密データが外部に漏れることはありません。
大規模言語モデルを含むプライベートアプリケーションへのアクセスの保護
プライベートなセットアップも保護が必要です。機械学習の運用パイプラインのすべて、言語モデルからサポートデータベース、プライベートデータリポジトリまで、セキュアなプロビジョニング、アクセス、管理が必要です。
そこでSplashtop Secure Workspaceが登場します。私たちは、プライベートな企業アプリケーション、プライベートLLMを含む、どんなプライベート企業アプリケーションへのアクセスを制御するためのシンプルで安全な方法を提供します。エンタープライズアプリケーションがWebベースのインターフェースを提供するか、カスタムデスクトップまたはモバイルアプリケーションを必要とするかにかかわらず、私たちのプラットフォームは、ネットワークサービスポートを外部に公開することなく、またはファイアウォール、バスティオンホスト、VPNを使用した複雑なネットワーク設定を必要とせずに、任意のクライアントデバイスからの安全なアクセスを可能にします。
すべてのレベルでのアクセスのセキュリティ確保
Splashtop Secure Workspaceは、LLMを含むあらゆるプライベートエンタープライズアプリケーションへのアクセスを制御するための豊富なオプションをサポートしています。主な機能には以下が含まれます：
シングルサインオン（SSO）統合 – Google、Microsoft、Oktaなどの人気のあるIDプロバイダーと同期します
Multi-Factor 認証 (MFA) — 強力な認証コントロールを、プライベートエンタープライズLLMのチャットインターフェースを含む、すべてのSSO対応エンタープライズアプリケーションのフロントエンドおよびバックエンドユーザーに提供します。
条件付きアクセス制御— 地理的位置や企業発行のラップトップの使用を含む主要なコンプライアンスとセキュリティ基準をチェックすることで、アプリケーションへのアクセスを制限します。例えば、データ主権ルールに従う組織は、従業員が海外旅行中にプライベートLLMへのアクセスをブロックしたいかもしれません。
委任されたコントロールによる特権アクセス — Splashtopは、エンタープライズアプリケーション内の重要なサブシステムやデータを管理するために指定された特権アカウントやサービスアカウントを安全に委任することでアクセスを制御できます。LLMの場合、モデル自体、ベクトルまたはグラフデータベース、非構造化データリポジトリ、またはMLパイプラインへのアクセスを制御および追跡し、機密資格情報への不必要な露出を避けることができます。
セキュアなサードパーティアクセス — 当社のプラットフォームは、エンタープライズアプリケーションへの一時的なアクセスが必要なサードパーティとセキュアなアクセス共有を提供します。これには、オンサイトトラブルシューティングのためにセキュアなアクセスが必要なプライベートLLMソリューションプロバイダーが含まれる可能性があります。Secure Workspaceは、監査およびコンプライアンス目的でセッションを完全に記録しながら、便利なアクセスを可能にします。
ゼロトラスト・ネットワーク接続 (ZTNA) —従来のVPNがネットワークのサブネット全体へのアクセスを付与するのに対し、Splashtop Secure WorkspaceのZTNAアプローチは承認されたリソースへのピンポイントアクセスを付与し、攻撃面を最小限に抑えます。「既定拒否」アプローチは、企業のLLMが非常に機密性の高いデータを扱う際に安心感を提供します。
API駆動の自動化 — 自動化とDevOpsワークフローにコミットしている企業は、Secure Workspaceプラットフォームを緊密に統合し、自動化する能力を評価するでしょう。生成AIのコンテキスト内で、Splashtop Secure Workspaceは、MLOpsパイプラインにシームレスにフィットし、主要リソースへのアクセスの自動プロビジョニングやSecure Workspaceプラットフォーム自体の自動構成を促進し、生産性を最大化し、人為的なエラーを減少させます。
では、Secure Workspaceを使用してエンタープライズ生成AIへの安全なアクセスを有効にする方法を示します。そして、続けていくと、独自のプライベートなLLMベースのチャットボット、つまり個人用のChatGPTを手に入れることができます。
プライベートLLMチャットボットを作成するための実用ガイド
LLMチャットボットを構築するというコンセプトは、複雑なタスクのようにサウンドするかもしれません。しかし、現実は思ったよりも簡単です。オープンソースのMLOpsツールであるdstackを使って分解してみましょう。
この例では、単一のdstack実行コマンドで、クラウド環境にLLM-As-Chatbotをプロビジョニングして立ち上げることができます。
この例では、Splashtop Secure Workspaceコネクタを同時にプロビジョニングして、プライベートLLMチャットボットをSecure Workspaceに接続します。その後、強力な認証、SSO、MFA、豊富な条件付きアクセスポリシーを利用して、他のアプリケーションと同様にセキュアワークスペース内でアクセス制御を設定できます。
ここでは、プライベートLLMへの安全なアクセスを設定するためのステップバイステップガイドを紹介します。
リポジトリをクローン
git clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-Chatbotdstackをインストールして設定
pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
dstackサーバーが起動したら、ログインしてクラウドの資格情報（AWS、GCP、またはAzure）を使用してプロジェクトを作成します。dstackプロファイルを作成する .dstack/profiles.ymlを作成するLLM-As-Chatbotフォルダのルートにあるファイル。このファイルは作成されたプロジェクトを指し、リソースを記述する必要があります。例:
プロファイル:
- 名前: aws-llm
プロジェクト: aws-llm
リソース:
メモリ: 16GB
gpu:
カウント: 1
スポットポリシー: 自動
既定: True初期化 dstackサーバーに切り替え、dstack設定コマンドをターミナルにコピーして貼り付けます。これにより、dstackサーバーがAWSリソースをリモートでプロビジョニングすることができます。これに続いてdstack initコマンドを実行します。
dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init
プライベートLLMのためのセキュアワークスペースの設定方法
では、Splashtop Secure Workspaceを使用して、独自のプライベート大規模言語モデルLLMへのアクセスを確保するために必要なステップを踏みましょう。私たちのコネクタは、プライベートアプリケーションへの安全な接続を提供し、アクセスを集中管理します。さあ、始めましょう。
ステップ1: コネクタを作成し、コネクタトークンをコピーする
Splashtop Secure Workspace管理者アカウントにログインします。
Go to the 設定 menu, 選択する Connector, and click Add Connector.
Headless / CLIを選択し、コネクタ名を入力して次へをクリックします。次にLinuxを選択し、完了をクリックします。
コネクタを作成した後、コネクタリストからコネクタ名をクリックして詳細を表示します。使用するためにトークンをコピーします。
ステップ2：LLMアプリケーションを作成します
プライベートLLMチャットボットサービスをプライベートアプリケーションとして追加し、このサービスを従業員に提供します。
アプリケーション/アプリケーションに移動し、アプリケーションを追加/プライベートアプリケーションを追加ボタンをクリックします。
アプリケーション名、'localhost'をホストとして、'6006'をポートとしてフォームに入力します。
HTTPをプロトコルとして選択し、先に作成したコネクタ名を選び、このアプリケーションに適切なグループを割り当てます。保存をクリックします。
Secure Workspaceは、プライベートLLMアプリケーションのために完全修飾ドメイン名（FQDN）を自動生成します。
ステップ3: クラウドでアプリを実行する
LLM-As-Chatbot フォルダーで、dstack 実行 コマンドを使用して、クラウド内にプライベート LLM と Secure Workspace をプロビジョニングします（ステップ 1 のコネクタートークンを $トークン に置き換えます）:
dstack 実行 . -f ssw-private-llm.yml $トークンこのコマンドは、クラウドでLLM-As-Chatbotをプロビジョニングして実行し、Secure Workspaceコネクタインスタンスを開始します。
すべてが稼働したら、作成したFQDNを使用してプライベートLLMにアクセスします。その間に、このアプリケーションのためのエンタイトルメントと条件付きアクセスポリシーを設定できます。
ハウツービデオリソース
ステップバイステップのガイドを見たい方は、ビデオをご覧ください:
結論
企業がプライベート生成AIとLLMを採用するにつれて、これらの革新的なシステムへのアクセスを保護することが最重要課題となります。
Splashtop Secure Workspaceは、既存のインフラストラクチャとシームレスに統合しながら、ビジネスクリティカルなシステムへのセキュアリモートアクセスを提供できます。
この記事で説明されている手順に従うことで、プライベートLLMセキュアワークスペースを設定および管理し、会社の独自データを保護しながら運用効率を維持できます。
生成AIと安全なアクセスシステムの組み合わせは、ビジネス運営の未来を形作り続け、これらのシステムの採用と安全な管理に積極的に取り組むことで、企業はこの変革の最前線に立つことができます。
Splashtop Secure Workspaceへの早期アクセスを希望する方は、私たちのウェイトリストに参加してください。
