http://www.pangshuya.site/Recent content on 胖叔呀Hugo -- gohugo.iozh-CNWed, 28 Aug 2024 02:20:38 +0800http://www.pangshuya.site/about/about/Wed, 28 Aug 2024 02:20:38 +0800http://www.pangshuya.site/about/about/欢迎来到我的数字世界！ 我是一名对编程充满热爱的自由程序员，在代码的海洋中不断探索和成长。 在 GitHub 上，你可以发现我的一些个人小项目，每一个都是我用心打造的创意结晶。同时，我也发布了几个 npm 包，希望能为编程社区贡献自己的一份力量。 从曾经熟悉的 PHP 领域一路走来，我不断拓展自己的技能边界。如今，我熟练掌握前端的 Sass/SCSS、HTML5、CSS3 和 JavaScript，并且还在持续学习的道路上前行。而对于 Vue3，我正沉浸其中，感受着它带来的强大功能和优雅设计。 在后端开发方面，我主要使用 Node.js 编写应用程序，享受着它的高效与灵活。我的主要编辑器是 Visual Studio Code，它为我的编程之旅提供了强大的支持。 在这里，我将分享我的编程心得、项目经验和技术探索，希望能与志同道合的你一起交流、学习和进步。让我们一起在编程的世界里创造更多的精彩！http://www.pangshuya.site/posts/ai/ai-get-started/Tue, 27 Aug 2024 23:10:53 +0800http://www.pangshuya.site/posts/ai/ai-get-started/网上关于ai新闻的报道一大推，都是开源的大模型，比如chatgpt、gpt-3.5、gpt-4。国内出名的比如 文心一言、讯飞星火、豆包等等。 处于国情原因，国外的大部分网站，在国内是无法正常使用的。所以我开始尝试国内的AI模型，首先使用的是Baidu的文心一言。 谈谈使用感受： 比如：我在写一些文档的时候，需要将英文翻译为中文，但是通过有道和文心一言的对比，文心一言翻译的结果更准确一些，语义更贴合原文的语义。尤其是对比一些专业的术语，文心一言翻译的结果更好。 还有在找一些资料的时候，直接询问文心一言，可以快速找到想要说明，同时它还会给出一些相关的资料，非常适合进行相关的学习补充。但它目前主要是对百度自己收录的网站和内容进行筛选，所以对于一些非百度收录的网站，它就无能为力了，不过这也是可以理解的，毕竟它只是一个AI模型，它没有能力去判断一个网站是否是百度收录的，同时，作为百度的产品，使用百度收录的数据，是很正常也很符合国内用户情况的。在现阶段，对于各大社区提供的资料来说，它还是可以满足大部分用户的需求的。 再有，平时想组建一个小的产品时，可以将自己的思路告诉AI，它会给出一些相关的建议和修改，并继续做补充，同时，你还可以继续向它咨询，它会接着上一个问题继续回答你，这很适合一些产品经理和程序员，可以节省很多的时间，也会让自己了解到一些自己以前从没有接触过的知识内容。 以上只是我目前这段使用的一些使用感受，相较于传统手机厂商开发的语音助手，大模型AI人工智能确实要优秀的多，能过获得流利的对答体验。当然，它也有失手的时候，毕竟，它也知识一个模型而已，所以需要我们在使用时，要将自己的需求尽可能的描述的清晰明了，这样它的回答也会更准确一些。 通过这些天的使用，它确实给我的开发工作提供了不小的助力，现在使用它已经变成一种习惯了，尤其是在出现一些BUG时，有一些专业术语需要解释时，有一些其他的开发架构的想法时，都会让它来印证我的想法，解决我遇到的问题。相较于在搜索引擎里漫无目的查找，通过它来做索引，终于可以从烟波浩渺的各种信息中找到自己想要的答案了。 本地搭建 网上的模型千千万，但毕竟都是需要注册使用的，网络瘫痪，就没有了。而且数据都是共享的，没有私密性可言。这时候，就需要自己在本地搭建一个属于自己的模型了。好在，国内国外各大AI公司都出了很多开源的大模型，我们自己就可以免费在本地搭建。搭建在本地，我们可以使用我们本地的数据，同时还能创建一个属于自己的知识库，配置模型只使用本地的数据，这样你就拥有了一个自己的虚拟图书馆。比如，你要学习一门新课程，你可以将这门知识的相关书籍资料全部汇入知识库中，让模型自己去解析生成，之后你就可以在对话框中，以问答的方式，快速开始了解这门课程了。这要比我们自己一行一行的读那些索然无味的文字要高效的多。这也是我想在本地搭建的原因之一。试想，谁不想拥有一个属于自己的AI机器人呢。 但本地搭建的一个弊端就是，这个东西十分消耗系统资源。所以，搭建之前，一定要做好充足的准备，比如：内存、CPU、GPU、硬盘、网络等等。如果你的电脑配置不够，那还是不要折腾了，直接使用网上的模型吧。 但也不是说，电脑的配置不够，就不能搭建玩玩了。通过我这些天的折腾，我终于在本地搭建了一个小型的模型，它能够给我提供一些基本的问答，生成一些简单的文章，解决一些简单的问题。应对我们日常使用还是够用的。 本地搭建步骤 这里我先介绍一下，我的电脑配置情况，方便大家做对照： 硬件 参数 系统 macOS Monterey 12.7.5 Mac mini (Late 2014) CPU 2.6 GHz 双核四线程Intel Core i5 GPU 集成 Intel Iris 1536 MB RAM 8 GB 1600 MHz DDR3 下载 ollama ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。以下是对Ollama的详细解释： 简化部署：Ollama的主要目标是简化在Docker容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。 轻量级与可扩展：作为轻量级框架，Ollama在运行时占用较少的资源，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。 API支持：Ollama提供了一个简洁的API，使开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。 预构建模型库：Ollama包含一系列预先训练好的大型语言模型，如Llama 3.1、Phi 3、Mistral、Gemma 2等，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。 模型导入与兼容性：Ollama支持从多种平台（如GGUF）和深度学习框架（如PyTorch或Safetensors）导入已有的大型语言模型，并允许用户自定义提示（prompt engineering），以引导模型生成特定类型或风格的文本输出。 跨平台支持：Ollama提供了针对macOS、Linux以及Windows（预览版）的安装指南，确保用户能在多种操作系统环境下顺利部署和使用。 易用性：通过简单的安装和配置过程，用户可以快速启动和运行Ollama服务，并通过命令行或UI界面与大型语言模型进行交互。 功能丰富：除了基本的模型运行功能外，Ollama还支持任务管理、数据分析、自动化流程等高级功能，帮助用户提高工作效率和数据处理能力。 社区支持：Ollama拥有一个活跃的社区，用户可以在这里分享经验、获得帮助并获取最新的更新和特性。 未来展望：随着Ollama的不断发展，它将支持更多模型架构、提供更多预构建模型、增强性能和扩展功能，以满足用户对大型语言模型不断增长的需求。 综上所述，Ollama是一个功能强大、易于使用且可扩展的开源框架，它极大地简化了在本地机器上部署和运行大型语言模型的过程，为开发者和研究人员提供了极大的便利。 综上所述，先在本地安装 ollama客户端，它目前支持macOS（macOS 11 Big Sur or later）、Linux以及Windows（需要win10以上）。 安装完成后，访问 https://ollama.http://www.pangshuya.site/posts/go-get-started/Tue, 27 Aug 2024 21:19:25 +0800http://www.pangshuya.site/posts/go-get-started/第一次接触 Hugo，尝试使用Hugo来重塑我的个人博客。http://www.pangshuya.site/posts/orbstack/orbstack-share/Thu, 21 Dec 2023 02:10:18 +0800http://www.pangshuya.site/posts/orbstack/orbstack-share/👉 在阅读此篇文章前，我假定你已经了解并使用过Docker，否则你应先对Docker相关知识有所了解。 OrbStack是什么？ 💡 OrbStack · Fast, light, simple Docker & Linux on macOS OrbStack是一个强大的Docker Desktop替代品。它提供了一种在本地环境中进行容器化开发的方式，无需担心Docker Desktop可能会带来的性能问题或高昂的许可费用。 OrbStack具有一些引人注目的特性，包括支持Windows, MacOS和Linux，强大的性能和稳定性，以及与主流容器编排工具的无缝集成。它的用户界面也非常直观，使得开发者可以轻松地管理和监控他们的容器。 通过使用OrbStack，开发者可以更加高效地进行容器化开发，同时还可以节省一些可能用于购买Docker Desktop许可的成本。这使得OrbStack成为了Docker Desktop的理想替代品。 ::: 使用Docker UI界面的原因 日常在Linux上使用Docker，并没有什么性能问题，大家都是在CLI中使用指令，主要就是用来搭建容器环境，部署项目而已。而平时在本地开发项目时，需要的操作就会繁琐和复杂的多。比如： 为项目编写Dockerfile和docker-compose，测试实例能否正常启动。 删除、启动、停止多个Container和Image。 查看Container的配置信息，历史日志。 快速进入或启动一个Container实例，并进入实例的shell。 以上这些情况，通过CLI也可操作，但每次都需要敲击很多遍，才能完成。相反，通过Docker Desktop提供的UI界面，鼠标点击下就能完成很多批量操作，这无异于能够节省很多时间。 Docker Desktop 存在的意义 提供了一套方便的UI界面。 能够方便查看，编辑、删除Image和Container。 它最有意思的点，应该就是能够在WSL中搭建Dev Container，通过VSCode提供的Remote-wsl直接进入容器。 还可以直接在UI界面中查看已启动容器的日志，直接进入容器实例内的CLI。 还可以查看CPU、RAM、Disk的每个Container和Image占用情况。 以及方便的对Docker进行设置。 但它的弊端，就是每次在本地使用Docker，都需要先启用Docker Desktop，如果有最新版本，还会要求更新，有时还会有评分反馈。但这些都还不算什么，它最大的问题，就是对宿主机的资源占用太大，启动Docker的速度太慢，尤其是在一些时间比较久的机器上，这种对资源的开销是不能忍受的。 而我日常是在一台比较久的Mac上做一些Demo，尽管已将vscode配置的很精简了，但同时打开浏览器，并启动Docker Desktop后，电脑性能还是会明显下降。因此需要一款性能更好的UI操作界面。 我曾尝试过使用Dockeg来操作，但它目前的UI界面还存在BUG，对于在服务器端做维护来说是一个很不错的选择，但对于本地环境来说，还是一款App界面操作来的更方便。直到后来刷视频看到别人分享了OrbStack，尝试下载使用了一下。而相较于Podman和Docker Desktop，确实更简单直接。 OrbStack 使用情况 启动速度很快，从启动到运行都在2～5s以内。 界面干净简单，没有多余内容。操作习惯直接、方便。 基本的Container、Volume、Image、查看Container的状态、信息、Log、一键Container shell、这些功能都有。 还提供了容器编排的Pod、Service界面。 额外提供了一项Linux子容器界面。 UI界面占用内存很小，目前看只有64MB，但Virtual Machine Service进程内存占用在340MB。 就目前UI操作界面的占用来说，它的内存占用已经很低，界面的使用比Docker Desktop精简，反应速度更快，初次使用，没有出现卡顿情况，具体情况，需要后期用户自己使用。但对于日常频繁使用的功能，都给予了提供，因此可以完全替代Docker Desktop在本地使用。 上干货，直接介绍如何安装 先问大家一个问题，有没有想过直接删掉Docker Desktop（它的内部包含了Docker Client、Engine和其他的一众捆绑）提供的环境，反而像Linux上一样直接从shell中访问，给Mac或Win提供一个纯粹的Docker环境。（答案，是有的，大家可自行搜索Lima & Colima），这里，我将演示使用OrbStack提供一个轻量的Docker for Mac 环境。