Veilige toegang tot generative AI voor ondernemingen ontgrendelen met Splashtop

De toenemende populariteit van ChatGPT en andere vormen van generative AI markeert het begin van een periode van verandering voor bedrijven en de samenleving. AI en machine learning (ML) verhogen al geruime tijd de waarde van bedrijven, maar de plotselinge opkomst van generative AI, inclusief grote taalmodellen (LLM's), zorgt voor grote verandering in alle sectoren.

Met de verspreiding van SaaS-aanbiedingen in de generative AI-ruimte - van Open AI's ChatGPT tot Anthropic's Claude, Google's Bard en Microsoft Bing AI - haasten bedrijven van elke omvang zich om richtlijnen en beleid vast te stellen voor het gebruik van deze opkomende diensten. Tegelijkertijd worstelen ze ook met de implicaties van deze krachtige maar ontluikende technologie: hoe verklein je het risico op openbaarmaking van privé-informatie, intellectueel eigendom te beschermen, mogelijke verkeerde informatie of schadelijke inhoud aan te pakken en onbedoelde inbreuk op het auteursrecht te voorkomen.

In dit snel evoluerende landschap is één vraag naar voren gekomen die bijzonder urgent is voor organisaties, namelijk hoe ze privégegevens veilig en effectief kunnen gebruiken met generative AI. Juist op dit gebied kan ons onlangs geïntroduceerde Splashtop Secure Workspace-platform helpen.

Private AI-modellen voor ondernemingen

Zeker, er zijn commerciële generative AI SaaS-aanbiedingen die beloven geen ingediende gegevens te gebruiken om hun openbare modellen te verbeteren. Niet alle bedrijven vinden het echter prettig om privégegevens naar een cloudservice te sturen waarover ze weinig controle hebben. Sommige organisaties zijn mogelijk onderworpen aan soevereiniteit en naleving van regelgeving die het gebruik van services die in een andere regio of een ander land worden gehost, uitsluiten.

Andere bedrijven die baat kunnen hebben bij een privé AI-model, zijn bedrijven die hun eigen LLM-modellen vanaf nul moeten trainen, of die gegevensuitbreidingen en geoptimaliseerde LLM-modellen moeten beschermen die vooraf zijn getraind voor specifieke taken, zoals ondersteuning, financieel advies en meer.

Bedrijven die hun eigen private generative AI- en MLOps-infrastructuur bouwen, zijn in staat om de kracht van deze tools onder hun eigen IT-controle te brengen - zowel op locatie als in een private cloud - waardoor ze deze kunnen afstemmen op zakelijke behoeften, nalevings- en soevereiniteitsvereisten. Deze setup zorgt ervoor dat alle gevoelige en vertrouwelijke gegevens die worden gebruikt om query's voor LLM's te trainen, te verfijnen of te vergroten, niet bij externe partijen terechtkomen.

Toegang tot privétoepassingen beveiligen, inclusief grote taalmodellen

Een privé setup heeft ook bescherming nodig. Alles in uw machine learning operational pipeline, van de taalmodellen tot de ondersteunende databases en privégegevensopslagplaatsen, vereist een veilige inrichting, toegang en beheer.

Dat is waar Splashtop Secure Workspace om de hoek komt kijken. We bieden een eenvoudige maar veilige manier om de toegang tot elke particuliere bedrijfsapplicatie, inclusief particuliere LLM's, te beheren. Of bedrijfsapplicaties nu webgebaseerde interfaces bieden of aangepaste desktop- of mobiele applicaties vereisen, ons platform maakt veilige toegang mogelijk vanaf elk clientapparaat, overal en zonder netwerkservicepoorten bloot te stellen aan de buitenwereld of ingewikkelde netwerkinstellingen met firewalls, bastionhosts, of VPN's.

Toegang beveiligen op alle niveaus

Splashtop Secure Workspace ondersteunt een uitgebreide reeks opties om de toegang tot elke particuliere bedrijfsapplicatie, inclusief LLM's, te regelen. De belangrijkste mogelijkheden zijn onder meer:

• Single Sign-On (SSO) integratie – Synchroniseert met populaire identityproviders (zoals Google, Microsoft, Okta)

• Multi-Factor Authentication (MFA) — Maakt krachtige authenticatiecontroles mogelijk voor zowel front-end- als back-end-users voor alle SSO-enabled bedrijfsapplicaties, inclusief chatinterface voor een private enterprise LLM.

• Voorwaardelijke toegangscontroles — Beperkt de toegang tot applicaties door de belangrijkste nalevings- en beveiligingscriteria te controleren, waaronder geolocatie en het gebruik van bedrijfslaptops. Organisaties die zich houden aan regels voor gegevenssoevereiniteit, willen bijvoorbeeld mogelijk de toegang tot de privé-LLM kunnen blokkeren wanneer werknemers naar het buitenland reizen.

• Privileged access met gedelegeerde controles — Splashtop kan de toegang regelen door geprivilegieerde accounts of serviceaccounts die zijn aangewezen voor het beheer van kritieke subsystemen en gegevens in een bedrijfstoepassing veilig te delegeren. Voor een LLM, stelt dit u in staat om de toegang tot het model zelf, een vector- of grafiekdatabase, ongestructureerde gegevensopslagplaatsen of de ML-pipeline te controleren en te volgen, zonder onnodige blootstelling aan gevoelige inloggegevens.

• Veilige toegang door derden — Ons platform biedt veilig delen van toegang met derden die mogelijk tijdelijk toegang tot bedrijfsapplicaties nodig hebben. Dit kan een particuliere LLM-oplossingsprovider zijn die beveiligde toegang nodig heeft voor probleemoplossing ter plaatse. Secure Workspace maakt gemakkelijke toegang mogelijk terwijl sessies volledig worden opgenomen voor audit- en nalevingsdoeleinden.

• Zero Trust Network Access (ZTNA) —In tegenstelling tot traditionele VPN's die volledige toegang verlenen tot een volledig netwerksubnet, verleent de ZTNA-benadering van Splashtop Secure Workspace nauwkeurige toegang tot goedgekeurde bronnen, waardoor een minimaal aanvalsoppervlak wordt gegarandeerd. De "default-deny"-benadering biedt geruststelling wanneer zakelijke LLM's omgaan met zeer gevoelige gegevens.

• API-gestuurde automatisering — Bedrijven die zich inzetten voor automatisering en DevOps-workflows zullen de mogelijkheid waarderen om ons Secure Workspace-platform nauw te integreren en te automatiseren. Binnen een generative AI-context past Splashtop Secure Workspace naadloos in elke MLOps-pijplijn, waardoor geautomatiseerde levering van toegang tot belangrijke bronnen en geautomatiseerde configuratie van het Secure Workspace-platform zelf wordt vergemakkelijkt, waardoor de productiviteit wordt gemaximaliseerd en menselijke fouten worden verminderd.

Nu laten we zien hoe u veilige toegang tot generative AI voor ondernemingen mogelijk maakt met onze Secure Workspace. En wanneer u ons volgt, krijg u uw eigen op LLM gebaseerde chatbot - uw eigen persoonlijke ChatGPT.

Een praktische gids voor het maken van een privé LLM-chatbot

Het concept van het bouwen van uw LLM-chatbot lijkt misschien complex. Het is echter een stuk eenvoudiger dan u denkt. Laten we het opsplitsen met behulp van een open-source MLOps-tool genaamd dstack.

In dit voorbeeld kunt u met één enkele dstack run-opdracht LLM-As-Chatbot inrichten en openen in uw cloudomgeving.

Het voorbeeld zal tegelijkertijd ook de Splashtop Secure Workspace-connector leveren om uw privé LLM-chatbot te verbinden met uw Secure Workspace. Vervolgens kunt u toegangscontrole instellen binnen uw beveiligde werkruimte, net als elke andere toepassing, met behulp van sterke authenticatie, SSO, MFA en een uitgebreide reeks beleidsmaatregelen voor voorwaardelijke toegang.

Hier is een stapsgewijze handleiding voor het instellen van beveiligde toegang tot uw privé-LLM:

1. Kloon de repositorygit clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-Chatbot

2. Installeer en stel dstack in
   pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
   Zodra de dstack server start, logt u in en maakt u een project met uw cloudreferenties (AWS, GCP of Azure).

3. Een dstack-profiel maken
   Maak een .dstack/profiles.yml bestand onder de hoofdmap van de map LLM-As-Chatbot. Dit bestand moet verwijzen naar het gemaakte project en de bronnen beschrijven.
   Voorbeeld:
   profiles:
- name: aws-llm
project: aws-llm
resources:
memory: 16GB
gpu:
count: 1
spot_policy: auto
default: True

4. Initialisatie
   Schakel over naar de dstack server, kopieer en plak de dstack config command in de terminal. Hierdoor kan de dstack- server de AWS-bronnen op afstand inrichten. Volg dit met de command dstack init.
   dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init

Hoe u Secure Workspace instelt voor uw privé LLM

Laten we nu de nodige stappen zetten om de toegang tot uw eigen privé Large Language Model LLM te beveiligen met Splashtop Secure Workspace. Onze connectoren bieden veilige connectiviteit met uw privétoepassingen, waardoor u centrale toegangscontrole krijgt. Laten we beginnen.

Stap 1: Maak een connector en kopieer het connectortoken

1. Log in op uw Splashtop Secure Workspace-beheerdersaccount.

2. Ga naar het Deployment menu, selecteer Connector, en klik Add Connector.

3. Kies Headless / CLI, vul de naam van de connector in en klik op Next. Kies vervolgens Linux en klik op Done.

4. Klik na het maken van de connector op de connectornaam in de lijst met connectoren om de details te bekijken. Kopieer het token voor gebruik hieronder.

Stap 2: Maak de LLM-applicatie

1. Voeg de privé LLM-chatbotservice toe als een privétoepassing om deze service aan uw werknemers te leveren.

2. Navigeer naar de Applications/Applications en klik op de knop Add Application/Add Private Application.

3. Vul het formulier in met de applicatienaam, 'localhost' als de host en '6006' als de poort.

4. Kies HTTP als Protocol, kies de connectornaam die eerder is gemaakt en wijs de juiste groep toe aan deze toepassing. Klik op Save.

Secure Workspace genereert automatisch een volledig gekwalificeerde domeinnaam (FQDN) voor de privé LLM-toepassing.

Stap 3: Run de app in uw cloud

1. Gebruik in de map LLM-As-Chatbot de opdracht dstack run om de private LLM en Secure Workspace in uw cloud in te richten (vervang $token door het connectortoken uit stap 1):
   dstack run . -f ssw-private-llm.yml $token

2. Met deze opdracht wordt LLM-As-Chatbot ingericht en gerund in uw cloud en wordt de Secure Workspace-connector instance gestart.

3. Nadat alles actief is, gebruikt u de FQDN die u hebt gemaakt om toegang te krijgen tot de privé-LLM. In de tussentijd kunt u voor deze toepassing een beleid voor rechten en voorwaardelijke toegang instellen.

How to instructievideo's

Bekijk de video voor een stapsgewijze gids:

Splashtop Secure Workspace - Generative AI & Private LLM

Conclusie

Naarmate ondernemingen particuliere generative AI en LLM's gebruiken, wordt het beveiligen van de toegang tot deze innovatieve systemen van het grootste belang.

Splashtop Secure Workspace kan externe toegang tot bedrijfskritische systemen beveiligen en naadloos integreren met uw bestaande infrastructuur.

Door de stappen in dit artikel te volgen, kunt u uw privé beveiligde LLM-werkruimte instellen en beheren, waarbij u de eigendomsgegevens van uw bedrijf beschermt terwijl de operationele efficiëntie behouden blijft.

De combinatie van generative AI en veilige toegangssystemen zal de toekomst van de bedrijfsvoering blijven bepalen, en door proactief te zijn bij de acceptatie en het veilige beheer van deze systemen kan uw onderneming zich in de voorhoede van deze transformatie positioneren.

Meld u aan voor onze wachtlijst voor 'early access' tot Splashtop Secure Workspace.