NLTK模型在Windows NAS上运行，简单易用，非常适合需要智能文本处理任务的用户。快来享受يلama3带给你的全新体验吧！
一.美洲驼的介绍3
LLama3是今年新推出的大型号，80亿参数，700亿参数。它被称为“历史上最强的开源大模型”，其性能据说可以媲美GPT-4。现在已经体验了2个多月，感觉对自己的日常生活和写作都有一定的借鉴意义。还没玩过的朋友可以来体验一下。
本文介绍的是Llama3的中国本地机型，不需要接入网络，支持windows、Linux、Mac三种平台。我分享的傻瓜包在Windows下基本不用配置就可以使用，非常适合部署在Windows电脑或者Windows NAS上，随时使用方便，不像其他AI不需要联网，不需要注册账号等等。只是它对硬件配置有一定要求，低端处理器运行难度更大，不需要显卡。二、llama3的配置和使用
将下载的傻瓜包解压，放在硬盘上。只需双击并运行Start_windows。前端是文本生成-webui，需要Python等运行环境。我这里都配置好了，不需要下载更新，也不需要提速。直接运行就行了。注意这个包选择CPU运行是因为运行在NAS上，有高端和独特显示的朋友建议下载原安装包。
操作后，终端的URL出现如图，表示操作成功。按住CTRL键并单击URL打开它，或者将URL复制到浏览器中打开它:点击顶部的型号，在型号下拉选项框中选择Llama3-8B-Chinese-Chat-q8-v2。点击右边的Load加载模型，其他选项不要动。以后有了新型号，也可以直接放在型号目录里。模型加载很快，通常只需几秒钟。如图，返回命令行窗口，Loaded字样表示模型加载成功。如果有问题，将显示一条错误消息:单击顶部的聊天，并从右侧的模式中选择聊天-指导:使用的时候，在下面的输入栏输入一个问题，点击右边的生成，过一会儿就会收到一个答案，然后就可以和之前的问题进行持续的对话了。是不是超级简单？这时候可以去前面的命令行窗口查看进度和计算能力。较复杂的问题会出现进度条，较简单的问题会立即给出答案，这取决于CPU的计算能力:不提问的时候，几乎不占用系统资源，不关闭终端窗口就好。您可以使用此功能使其在NAS或后台运行，并将URL保存在局域网中的浏览器收藏夹中，以便随时访问。默认情况下，对Web用户界面的局域网访问是不启用的。你需要点击Session，勾选Listen，点击Apply Flags/Extensions，重启，然后就可以在局域网内用http://NAS LAN IP:7860访问了。如果需要在外网上访问家里的本地大模型，在路由器里做一个端口转发，或者使用花生壳之类的内网穿透工具。如果不需要局域网和远程访问，则不需要做上述设置。游戏玩法的拓展方式有很多，有兴趣的朋友可以自己研究一下，比如自己训练，加载其他模型，逻辑推理脚本，换中文前端等等。
三、llama3体验报告
先说运营效率。现在本地AI一般需要使用中高端显卡进行计算，CPU计算效率普遍较低。我做过E3-1260L、AMD R7-5700U、i7-12700F、赛扬J4125、N5105的测试，都可以正常运行，其中J4125、N5105处理速度较慢，在我看来，除非你能等很久，否则不适合操作；AMD R7 5700U以上属于操作级。根据问题的难易程度，一般需要十秒到几分钟，运算过程中CPU利用率会达到100%。这里的难点在于，有时候你会觉得简单的问题对AI来说特别难，即使在i7-12700F上，也有需要几分钟才能回答的问题。
关于回答的准确性和严谨性，我个人认为大部分时候供参考是没问题的，语言理解能力也还可以，支持连续对话。但是需要自己校对答案，因为偶尔会出现一些低级错误。比如下图，我问三国里郭嘉和诸葛亮谁更厉害，艾居然回答说郭嘉是著名纸币玩家刘备的谋士。估计是数据源出了问题。毕竟是本土车型。评论区的傻瓜包，有需要的朋友可以自己下载。
标签： 模型
