Deployed f46f6cc with MkDocs version: 1.6.0

Author: windsonsea

admin/ghippo/audit/gproduct-audit/amamba.html

@@ -471,7 +471,7 @@
 </div>
 </div>
 </div>
-<div class="md-sidebar md-sidebar--secondary" data-md-component="sidebar" data-md-type="toc">
+<div class="md-sidebar md-sidebar--secondary" data-md-component="sidebar" data-md-type="toc" hidden="">
 <div class="md-sidebar__scrollwrap">
 <div class="md-sidebar__inner">
 <nav aria-label="导航" class="md-nav md-nav--secondary">

admin/ghippo/audit/gproduct-audit/kairship.html

@@ -460,7 +460,7 @@ <h1 id="_1">关于平台<a class="headerlink" href="#_1" title="Permanent link">
 </li>
 <li>
 <p>点击 <strong>平台设置</strong> ，选择 <strong>关于平台</strong> ，查看产品版本、开源软件声明和技术团队。</p>
-<p><img alt="关于平台" src="../../images/about05.png"/></p>
+<p><img alt="关于平台" src="../images/about05.png"/></p>
 <p><strong>License 声明</strong></p>
 <p><img alt="license 声明" src="../../../images/about02.png"/></p>
 <p><strong>技术团队</strong></p>

admin/ghippo/audit/gproduct-audit/kangaroo.html

@@ -440,7 +440,7 @@
 </div>
 </div>
 </div>
-<div class="md-sidebar md-sidebar--secondary" data-md-component="sidebar" data-md-type="toc">
+<div class="md-sidebar md-sidebar--secondary" data-md-component="sidebar" data-md-type="toc" hidden="">
 <div class="md-sidebar__scrollwrap">
 <div class="md-sidebar__inner">
 <nav aria-label="导航" class="md-nav md-nav--secondary">
@@ -468,7 +468,7 @@ <h1 id="_1">安全策略<a class="headerlink" href="#_1" title="Permanent link">
 <li>登录/退出策略：关闭浏览器的同时退出登录。</li>
 </ul>
 <p>进入全局管理后，在左侧导航栏点击 <strong>平台设置</strong> -&gt; <strong>安全策略</strong> ，即可设置密码策略和访问控制策略。</p>
-<p><img alt="安全策略" src="../../images/security-policy.png"/></p>
+<p><img alt="安全策略" src="../images/security-policy.png"/></p>
 </article>
 </div>
 <script>var target=document.getElementById(location.hash.slice(1));target&&target.name&&(target.checked=target.name.startsWith("__tabbed_"))</script>

admin/ghippo/audit/gproduct-audit/mcamel.html

@@ -545,8 +545,8 @@ <h1 id="_1">了解模型支持情况<a class="headerlink" href="#_1" title="Perm
 <li>AI Lab v0.6.0 支持了完整版本的 vLLM 推理能力，支持诸多大语言模型，如 <code>LLama</code>、<code>Qwen</code>、<code>ChatGLM</code> 等。</li>
 </ul>
 <p>您可以在 AI Lab 中使用经过算丰 AI 算力平台验证过的 GPU 类型；
-更多细节参阅 <a href="../../../admin/kpanda/gpu/gpu_matrix.html">GPU 支持矩阵</a>。</p>
-<p><img alt="点击创建" src="../../images/inference-interface.png"/></p>
+更多细节参阅 <a href="../../kpanda/gpu/gpu_matrix.html">GPU 支持矩阵</a>。</p>
+<p><img alt="点击创建" src="../images/inference-interface.png"/></p>
 <h2 id="triton-inference-server">Triton Inference Server<a class="headerlink" href="#triton-inference-server" title="Permanent link">¶</a></h2>
 <p>通过 Triton Inference Server 可以很好的支持传统的深度学习模型，我们目前支持主流的推理后端服务：</p>
 <table>

admin/ghippo/audit/gproduct-audit/mspider.html

@@ -701,11 +701,11 @@ <h2 id="_1">前提条件<a class="headerlink" href="#_1" title="Permanent link">
 </code></pre></div>
 <h2 id="_2">创建推理服务<a class="headerlink" href="#_2" title="Permanent link">¶</a></h2>
 <p>目前已经支持表单创建，可以界面字段提示，进行服务创建。</p>
-<p><img alt="点击创建" src="../../images/triton-infer-0.png"/></p>
+<p><img alt="点击创建" src="../images/triton-infer-0.png"/></p>
 <h3 id="_3">配置模型路径<a class="headerlink" href="#_3" title="Permanent link">¶</a></h3>
 <p>模型路径 <code>model-repo/mnist-cnn/1/model.pt</code> 需要和数据集中的模型目录格式一致。</p>
 <h2 id="_4">模型配置<a class="headerlink" href="#_4" title="Permanent link">¶</a></h2>
-<p><img alt="点击创建" src="../../images/triton-infer-1.png"/></p>
+<p><img alt="点击创建" src="../images/triton-infer-1.png"/></p>
 <h3 id="_5">配置输入和输出参数<a class="headerlink" href="#_5" title="Permanent link">¶</a></h3>
 <div class="admonition note">
 <p class="admonition-title">Note</p>
@@ -714,31 +714,13 @@ <h3 id="_5">配置输入和输出参数<a class="headerlink" href="#_5" title="P
 <h3 id="_6">配置环境<a class="headerlink" href="#_6" title="Permanent link">¶</a></h3>
 <p>可以导入 <a href="../dataset/environments.html">环境管理</a> 中创建的环境作为推理时的运行环境。</p>
 <h2 id="_7">高级配置<a class="headerlink" href="#_7" title="Permanent link">¶</a></h2>
-<p><img alt="点击创建" src="../../images/triton-infer-2.png"/></p>
+<p><img alt="点击创建" src="../images/triton-infer-2.png"/></p>
 <h3 id="_8">配置认证策略<a class="headerlink" href="#_8" title="Permanent link">¶</a></h3>
 <p>支持 <code>API key</code> 的请求方式认证，用户可以自定义增加认证参数。</p>
 <h3 id="_9">亲和性调度<a class="headerlink" href="#_9" title="Permanent link">¶</a></h3>
 <p>支持 根据 GPU 资源等节点配置实现自动化的亲和性调度，同时也方便用户自定义调度策略。</p>
 <h2 id="_10">访问<a class="headerlink" href="#_10" title="Permanent link">¶</a></h2>
-<p><img alt="点击创建" src="../../images/triton-infer-3.png"/></p>
-<!-- 模型推理服务默认提供了多种访问方式，以便客户端可以通过不同的协议与推理服务进行交互。您可以通过以下方式访问服务：
-
-1. **HTTP/REST API**
-
-   - Triton 提供了一个基于 REST 的 API，允许客户端通过 HTTP POST 请求进行模型推理。
-   - 客户端可以发送 JSON 格式的请求体，其中包含输入数据和相关的元数据。
-
-2. **gRPC API**
-
-   - Triton 还提供了 gRPC 接口，它是一种高性能、开源、通用的 RPC 框架。
-   - gRPC 支持流式处理，可以更有效地处理大量数据。
-
-3. **C++ 和 Python 客户端库**
-
-   - Triton 为 C++ 和 Python 提供了客户端库，使得在这些语言中编写客户端代码更加方便。
-   - 客户端库封装了 HTTP/REST 和 gRPC 的细节，提供了简单的函数调用来执行推理。
-
-每种访问方式都有其特定的用例和优势。例如，HTTP/REST API 通常用于简单和跨语言的场景，而 gRPC 则适用于需要高性能和低延迟的应用。C++ 和 Python 客户端库提供了更丰富的功能和更好的性能，适合在这些语言环境中进行深度集成。 -->
+<p><img alt="点击创建" src="../images/triton-infer-3.png"/></p>
 <h3 id="api">API 访问<a class="headerlink" href="#api" title="Permanent link">¶</a></h3>
 <ul>
 <li>Triton 提供了一个基于 REST 的 API，允许客户端通过 HTTP POST 请求进行模型推理。</li>
@@ -781,49 +763,7 @@ <h5 id="curl">示例 curl 命令<a class="headerlink" href="#curl" title="Perman
 <li><code>"datatype"</code> 要与模型配置中的输入参数的 <code>Data Type</code> 一致。</li>
 <li><code>"data"</code> 替换为实际的推理数据。</li>
 </ul>
-<!-- #### gRPC 访问
-
-1. **生成客户端代码** ：使用 Triton 提供的模型定义文件（通常是 `.pbtxt` 文件），生成 gRPC 客户端代码。
-
-2. **创建 gRPC 客户端实例** ：使用生成的代码创建 gRPC 客户端。
-
-3. **发送 gRPC 请求** ：构造 gRPC 请求，包含模型输入数据。
-
-4. **接收响应** ：等待服务器处理并接收响应。
-
-##### 示例 gRPC 访问代码
-
-<div class="highlight"><pre><span></span><code><a id="__codelineno-3-1" name="__codelineno-3-1" href="#__codelineno-3-1"></a><span class="kn">from</span> <span class="nn">triton_client.grpc</span> <span class="kn">import</span> <span class="o">*</span>
-<a id="__codelineno-3-2" name="__codelineno-3-2" href="#__codelineno-3-2"></a><span class="kn">from</span> <span class="nn">triton_client.utils</span> <span class="kn">import</span> <span class="o">*</span>
-<a id="__codelineno-3-3" name="__codelineno-3-3" href="#__codelineno-3-3"></a>
-<a id="__codelineno-3-4" name="__codelineno-3-4" href="#__codelineno-3-4"></a><span class="c1"># 初始化 gRPC 客户端</span>
-<a id="__codelineno-3-5" name="__codelineno-3-5" href="#__codelineno-3-5"></a><span class="k">try</span><span class="p">:</span>
-<a id="__codelineno-3-6" name="__codelineno-3-6" href="#__codelineno-3-6"></a>    <span class="n">triton_client</span> <span class="o">=</span> <span class="n">InferenceServerClient</span><span class="p">(</span><span class="s1">&#39;localhost:8001&#39;</span><span class="p">)</span>
-<a id="__codelineno-3-7" name="__codelineno-3-7" href="#__codelineno-3-7"></a><span class="k">except</span> <span class="ne">Exception</span> <span class="k">as</span> <span class="n">e</span><span class="p">:</span>
-<a id="__codelineno-3-8" name="__codelineno-3-8" href="#__codelineno-3-8"></a>    <span class="n">logging</span><span class="o">.</span><span class="n">error</span><span class="p">(</span><span class="s2">&quot;failed to create gRPC client: &quot;</span> <span class="o">+</span> <span class="nb">str</span><span class="p">(</span><span class="n">e</span><span class="p">))</span>
-<a id="__codelineno-3-9" name="__codelineno-3-9" href="#__codelineno-3-9"></a>
-<a id="__codelineno-3-10" name="__codelineno-3-10" href="#__codelineno-3-10"></a><span class="c1"># 构造输入数据</span>
-<a id="__codelineno-3-11" name="__codelineno-3-11" href="#__codelineno-3-11"></a><span class="n">model_name</span> <span class="o">=</span> <span class="s1">&#39;chatglm2-6b&#39;</span>
-<a id="__codelineno-3-12" name="__codelineno-3-12" href="#__codelineno-3-12"></a><span class="n">input_data</span> <span class="o">=</span> <span class="o">...</span>  <span class="c1"># 你的模型输入数据</span>
-<a id="__codelineno-3-13" name="__codelineno-3-13" href="#__codelineno-3-13"></a>
-<a id="__codelineno-3-14" name="__codelineno-3-14" href="#__codelineno-3-14"></a><span class="c1"># 创建输入和输出</span>
-<a id="__codelineno-3-15" name="__codelineno-3-15" href="#__codelineno-3-15"></a><span class="n">inputs</span> <span class="o">=</span> <span class="p">[</span><span class="n">InferenceServerClient</span><span class="o">.</span><span class="n">Input</span><span class="p">(</span><span class="s1">&#39;input_names&#39;</span><span class="p">,</span> <span class="n">input_data</span><span class="o">.</span><span class="n">shape</span><span class="p">,</span> <span class="s2">&quot;TYPE&quot;</span><span class="p">)]</span>
-<a id="__codelineno-3-16" name="__codelineno-3-16" href="#__codelineno-3-16"></a><span class="n">outputs</span> <span class="o">=</span> <span class="p">[</span><span class="n">InferenceServerClient</span><span class="o">.</span><span class="n">Output</span><span class="p">(</span><span class="s1">&#39;output_names&#39;</span><span class="p">)]</span>
-<a id="__codelineno-3-17" name="__codelineno-3-17" href="#__codelineno-3-17"></a>
-<a id="__codelineno-3-18" name="__codelineno-3-18" href="#__codelineno-3-18"></a><span class="c1"># 发送推理请求</span>
-<a id="__codelineno-3-19" name="__codelineno-3-19" href="#__codelineno-3-19"></a><span class="n">results</span> <span class="o">=</span> <span class="n">triton_client</span><span class="o">.</span><span class="n">infer</span><span class="p">(</span><span class="n">model_name</span><span class="p">,</span> <span class="n">inputs</span><span class="p">,</span> <span class="n">outputs</span><span class="p">)</span>
-<a id="__codelineno-3-20" name="__codelineno-3-20" href="#__codelineno-3-20"></a>
-<a id="__codelineno-3-21" name="__codelineno-3-21" href="#__codelineno-3-21"></a><span class="c1"># 获取推理结果</span>
-<a id="__codelineno-3-22" name="__codelineno-3-22" href="#__codelineno-3-22"></a><span class="n">output_data</span> <span class="o">=</span> <span class="n">results</span><span class="o">.</span><span class="n">as_numpy</span><span class="p">(</span><span class="s1">&#39;output_names&#39;</span><span class="p">)</span>
-</code></pre></div>
-
-- `localhost:8001` 是 Triton 默认的 gRPC 端口，如果配置不同，请相应更改。
-- `input_data` 是你的模型输入数据，需要根据模型要求进行预处理。
-- `TYPE` 是模型输入的数据类型，如 `FP32`、`INT32` 等。 -->
 <p>请注意，上述示例代码需要根据你的具体模型和环境进行调整，输入数据的格式和内容也需要符合模型的要求。</p>
-<!-- ### Web UI 访问（敬请期待）
-
-> Web UI 访问正在开发中，敬请期待。-->
 </article>
 </div>
 <script>var target=document.getElementById(location.hash.slice(1));target&&target.name&&(target.checked=target.name.startsWith("__tabbed_"))</script>

admin/ghippo/audit/gproduct-audit/skoala.html

@@ -547,11 +547,11 @@ <h2 id="_2">创建推理服务<a class="headerlink" href="#_2" title="Permanent
 <li>
 <p>选择 <code>vLLM</code> 推理框架，并在选择模型模块选择提前创建好的模型数据集 <code>hdd-models</code> 并填写数据集中模型所在的<code>路径</code>信息。</p>
 <p>本文推理服务的创建使用 ChatGLM3 模型。</p>
-<p><img alt="模型选择" src="../../images/vllm-infer-0.png"/></p>
+<p><img alt="模型选择" src="../images/vllm-infer-0.png"/></p>
 </li>
 <li>
 <p>配置推理服务的资源，并调整推理服务运行的参数。</p>
-<p><img alt="数据选择" src="../../images/vllm-infer-1.png"/></p>
+<p><img alt="数据选择" src="../images/vllm-infer-1.png"/></p>
 <table>
 <thead>
 <tr>
@@ -590,7 +590,7 @@ <h2 id="_2">创建推理服务<a class="headerlink" href="#_2" title="Permanent
 <h2 id="_3">验证推理服务<a class="headerlink" href="#_3" title="Permanent link">¶</a></h2>
 <p>推理服务创建完成之后，点击推理服务名称进入详情，查看 API 调用方法。通过使用 Curl、Python、Nodejs 等方式验证执行结果。</p>
 <p>拷贝详情中的 <code>curl</code> 命令，并在终端中执行命令发送一条模型推理请求，预期输出：</p>
-<p><img alt="推理接口" src="../../images/vllm-infer-2.png"/></p>
+<p><img alt="推理接口" src="../images/vllm-infer-2.png"/></p>
 </article>
 </div>
 <script>var target=document.getElementById(location.hash.slice(1));target&&target.name&&(target.checked=target.name.startsWith("__tabbed_"))</script>

admin/ghippo/best-practice/authz-plan.html

@@ -570,7 +570,7 @@ <h2 id="_3">操作步骤<a class="headerlink" href="#_3" title="Permanent link">
 <li><strong>资源消耗</strong> ：所选集群的 CPU、内存、磁盘的实际使用量和总量；</li>
 <li><strong>指标说明</strong> ：所选集群的 CPU、内存、磁盘读写、网络接收发送的变化趋势。</li>
 </ul>
-<p><img alt="集群监控" src="../../images/cluster.png" width="1000"/></p>
+<p><img alt="集群监控" src="../images/cluster.png" width="1000"/></p>
 </li>
 <li>
 <p>切换到 <strong>资源水位线监控</strong> 页签，可查看当前集群的更多监控数据。</p>

admin/ghippo/platform-setting/about.html

@@ -290,11 +290,6 @@
          <lastmod>2024-11-13</lastmod>
          <changefreq>daily</changefreq>
     </url>
-    <url>
-         <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/amamba.html</loc>
-         <lastmod>2024-11-13</lastmod>
-         <changefreq>daily</changefreq>
-    </url>
     <url>
          <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/ghippo.html</loc>
          <lastmod>2024-11-13</lastmod>
@@ -305,36 +300,11 @@
          <lastmod>2024-11-13</lastmod>
          <changefreq>daily</changefreq>
     </url>
-    <url>
-         <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/kairship.html</loc>
-         <lastmod>2024-11-13</lastmod>
-         <changefreq>daily</changefreq>
-    </url>
-    <url>
-         <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/kangaroo.html</loc>
-         <lastmod>2024-11-13</lastmod>
-         <changefreq>daily</changefreq>
-    </url>
     <url>
          <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/kpanda.html</loc>
          <lastmod>2024-11-13</lastmod>
          <changefreq>daily</changefreq>
     </url>
-    <url>
-         <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/mcamel.html</loc>
-         <lastmod>2024-11-13</lastmod>
-         <changefreq>daily</changefreq>
-    </url>
-    <url>
-         <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/mspider.html</loc>
-         <lastmod>2024-11-13</lastmod>
-         <changefreq>daily</changefreq>
-    </url>
-    <url>
-         <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/skoala.html</loc>
-         <lastmod>2024-11-13</lastmod>
-         <changefreq>daily</changefreq>
-    </url>
     <url>
          <loc>https://sophdoc.github.io/admin/ghippo/audit/gproduct-audit/virtnest.html</loc>
          <lastmod>2024-11-13</lastmod>