O aumento da popularidade do ChatGPt e outras formas de IA generativa marca o início de um período transformador para as empresas e para a sociedade. A IA e a aprendizagem automática (ML) têm vindo a melhorar o valor das empresas há algum tempo mas o surgimento repentino da IA generativa, incluindo modelos grandes de linguagem (LLMs), está a criar ondas de mudança em todos os setores.
Com a proliferação de ofertas de SaaS no espaço generativo de IA — do Open AI's ChatGPT ao Anthropic's Claude, Google's Bard e Microsoft Bing AI — empresas de todos os tamanhos estão correndo para estabelecer diretrizes e políticas que regem a utilização desses serviços emergentes. Ao mesmo tempo, eles também estão a lutar com as implicações desta tecnologia poderosa mas nascente — como reduzir o risco de exposição de informações privadas, proteger a propriedade intelectual, lidar com potencial desinformação ou conteúdo nocivo e evitar violação involuntária de direitos de autor.
Neste cenário em rápida evolução, emergiu uma questão que é particularmente urgente para as organizações é como usar dados privados com segurança, segurança e eficácia com IA generativa. É precisamente neste domínio que a nossa plataforma Splashtop Secure Workspace, recentemente lançada, pode ajudar.
Modelos Privados de IA para Empresas
Certamente, existem ofertas comerciais generativas de SaaS de IA que se comprometem a não usar os dados enviados para melhorar os seus modelos públicos. No entanto, nem todas as empresas se sentem à vontade para enviar dados privados para um serviço cloud sobre o qual têm pouco controle. Algumas organizações podem estar sujeitas a soberania e conformidade regulamentar que impedem o uso de serviços hospedados noutra região ou país.
Outras empresas que beneficiariam de um modelo privado de IA são aquelas que têm a necessidade empresarial de treinar os seus próprios modelos de LLM a partir do zero, ou que precisam proteger aumentos de dados e modelos de LLM otimizados que tenham sido pré-treinados para tarefas específicas, como suporte ao cliente, consultoria financeira e muito mais.
As empresas que constroem sua própria infraestrutura privada de geração de IA e MLOps podem colocar o poder dessas ferramentas sob seu próprio controle de TI – seja no local ou em uma cloud privada – permitindo que se alinhem com as necessidades de negócios, requisitos de conformidade e soberania. Esta configuração garante que quaisquer dados sensíveis e confidenciais usados para treinar, afinar ou aumentar as consultas aos LLM não são expostos a partes externas.
Garantir o acesso a aplicações privadas, incluindo grandes modelos de linguagem
Uma instalação privada também precisa de proteção. Tudo no teu pipeline operacional de aprendizagem automática, desde os modelos de linguagem às bases de dados de suporte e aos repositórios de dados privados exige aprovisionamento, acesso e gestão seguros.
É aí que entra o Splashtop Secure Workspace. Oferecemos uma maneira simples mas segura de controlar o acesso a qualquer aplicação empresarial privada, incluindo LLMs privados. Quer as aplicações empresariais forneçam interfaces baseadas na Web ou precisem de aplicações desktop ou móveis personalizadas, a nossa plataforma permite o acesso seguro a partir de qualquer dispositivo cliente, em qualquer lugar e tudo sem expor portas de serviço de rede ao mundo exterior ou necessitando de uma configuração de rede complicada com firewalls, sistemas centrais de base ou VPN.
Garantir o acesso em todos os níveis
O Splashtop Secure Workspace suporta um rico conjunto de opções para controlar o acesso a qualquer aplicativo empresarial privado, incluindo LLMs. As principais capacidades incluem:
Integração de logon único (SSO) – Sincroniza com provedores de identidade populares (incluindo Google, Microsoft, Okta)
Autenticação baseada em vários fatores (MFA) — Permite controlos de autenticação fortes para utilizadores front-end e back-end em todas as aplicações empresariais habilitadas para SSO, incluindo interface de bate-papo para uma empresa privada LLM.
Controlos de acesso condicional — Limita o acesso a aplicações verificando os critérios de conformidade e segurança das chaves, incluindo localização geográfica e o uso de computadores portáteis emitidos pela empresa. Por exemplo, as organizações que cumprem as regras de soberania de dados podem querer bloquear o acesso aos LLM privados quando os funcionários estão a viajar para o estrangeiro.
Acesso privilegiado com controles delegados — Splashtop pode controlar o acesso delegando com segurança contas privilegiadas ou contas de serviço designadas para gerenciar subsistemas e dados críticos em um aplicativo empresarial. Para um LLM, isso permite controlar e rastrear o acesso ao próprio modelo, a uma base de dados de vetores ou gráficos, repositórios de dados não estruturados ou ao pipeline de ML, sem exposição desnecessária a credenciais sensíveis.
Acesso seguro de terceiros — A nossa plataforma fornece a partilha de acesso seguro com terceiros que possam precisar de acesso temporário a aplicações empresariais. Isso pode incluir um provedor de soluções LLM privado que precisa de acesso seguro para a detecção e resolução de problemas no local. O Secure Workspace permite um acesso conveniente enquanto grava as sessões totalmente para fins de auditoria e conformidade.
Zero Trust Network Access (ZTNA) — Em contraste com as VPNs tradicionais que concedem acesso completo a toda uma sub-rede de rede, a abordagem ZTNA do Splashtop Secure Workspace concede acesso preciso a recursos aprovados, garantindo uma superfície de ataque mínima. A abordagem “recusa por defeito” oferece garantia onde os LLMs empresariais tratam dados altamente sensíveis.
Automação orientada por API — As empresas comprometidas com a automatização e os fluxos de trabalho de DevOps apreciarão a capacidade de integrar e automatizar firmemente a nossa plataforma Secure Workspace. Dentro de um contexto generativo de IA, o Splashtop Secure Workspace se encaixa perfeitamente em qualquer pipeline MLOps, facilitando o provisionamento automatizado de acesso aos principais recursos, bem como a configuração automatizada da própria plataforma Secure Workspace, maximizando a produtividade e reduzindo os erros humanos.
Agora, vamos demonstrar como permitir o acesso seguro à IA corporativa generativa com o nosso Espaço de Trabalho Seguro. E, por seguir junto, vais acabar com o teu próprio chatbot privado baseado no LLM — o teu próprio ChatGPT pessoal.
Um Guia Prático para Criar um Chatbot Privado LLM
O conceito de construir o teu chatbot LLM pode parecer uma tarefa complexa. No entanto, a realidade é mais simples do que achas. Vamos decompô-lo usando uma ferramenta de código aberto MLOPS chamada dstack.
Neste exemplo, um único comando dstack run permite provisionar e ativar o LLM-As-Chatbot em seu ambiente cloud .
O exemplo também provisionará simultaneamente o conector Splashtop Secure Workspace para conectar seu chatbot LLM privado ao seu Secure Workspace. Podes então configurar o controlo de acesso no teu espaço de trabalho seguro como qualquer outro aplicativo, utilizando autenticação forte, SSO, MFA e um conjunto rico de políticas de acesso condicional.
Aqui está um guia passo a passo para configurar o acesso seguro ao teu LLM privado:
Clonar o repositório
git clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-ChatbotInstalar e configurar dstack
pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
Assim que o servidor dstack iniciar, faça login e crie um projeto usando suas credenciais cloud (AWS, GCP ou Azure).Criar um perfil de “dstack”Crie um arquivo .dstack/profiles.yml sob a raiz da pasta LLM-as-Chatbot. Este arquivo deve apontar para o projeto criado e descrever os recursos.
Exemplo:perfis:
- nome: aws-llm
projeto: aws-llm
recursos:
memória: 16GB
gpu:
contagem: 1
spot_policy: auto
default: TrueInicialização
Mude para o servidor dstack, copie e cole o comando dstack config no terminal. Isso permite que o servidor dstack provisione remotamente os recursos da AWS. Siga isso com o comando dstack init.dstack config -url http://127.0.0.1:3000 -project aws-llm -token $MY_TOKEN
Dempilhar
Como configurar o Secure Workspace para o teu LLM privado
Agora, vamos tomar as medidas necessárias para proteger o acesso ao seu próprio Large Language Model LLM privado com Splashtop Secure Workspace. Os nossos conectores oferecem conectividade segura às tuas aplicações privadas, dando-te um controlo centralizado sobre o acesso. Vamos começar.
Passo 1: Criar um conector e copiar o token de conector
Faça login na sua conta de administrador do Splashtop Secure Workspace.
Vá ao menu Deployment, selecione Connector e clique em Add Connector.
Escolha Sem cabeça/CLI, preencha o nome do conector e clique em Avançar. Depois, escolha Linux e clique em Concluído.
Depois de criar o conector, clique no nome do conector na lista de conectores para ver os detalhes. Copie o símbolo para uso abaixo.
Passo 2: Criar a aplicação LLM
Adicione o serviço de chatbot privado LLM como uma aplicação privada para prestar este serviço aos teus empregados.
Navegue até o Aplicativos/Aplicativos e clique no botão Adicionar aplicativo/Adicionar aplicativo privado.
Preencha o formulário com o nome do pedido, 'localhost' como o Host e '6006' como a Porta.
Escolha HTTP como Protocolo, escolha o nome do conector criado anteriormente e atribua o grupo adequado a este aplicativo. Clique em Salvar.
O Secure Workspace vai gerar automaticamente um nome de domínio totalmente qualificado (FQDN) para o aplicativo LLM privado.
Etapa 3: execute o aplicativo em sua cloud
Na pasta LLM-As-Chatbot, use o comando dstack run para provisionar o LLM privado e o Secure Workspace em sua cloud (substitua $token pelo token do conector da etapa 1):
dstack run . -f ssw-private-llm.yml $tokenEste comando provisionará e executará o LLM-As-Chatbot em sua cloud e iniciará a instância do conector Secure Workspace.
Depois de tudo estar pronto e a funcionar, use o FQDN que criaste para aceder ao LLM privado. Enquanto isso, podes configurar políticas de direito e acesso condicional para esta aplicação.
Tutorial em Vídeo
Para um guia passo a passo, veja o vídeo:
Conclusão
À medida que as empresas adotam IA privada e LLMs generativa, proteger o acesso a esses sistemas inovadores torna-se primordial.
O Splashtop Secure Workspace pode proteger o acesso remoto a sistemas críticos para os negócios, integrando-se perfeitamente à sua infraestrutura existente.
Seguindo os passos descritos neste artigo, podes configurar e gerir o teu espaço de trabalho seguro LLM privado, protegendo os dados proprietários da tua empresa enquanto mantém a eficiência operacional.
A combinação de IA generativa e sistemas de acesso seguro vai continuar a moldar o futuro das operações de negócios, e ser proativo na adoção e na gestão segura desses sistemas pode posicionar a tua empresa na vanguarda dessa transformação.
Para acesso antecipado ao Splashtop Secure Workspace, entre em nossa lista de espera.
