# AI

# 大模型工具 Ollama

官网：https://ollama.com/

Ollama是一个用于部署和运行各种开源大模型的工具，
它能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。
用户通过执行几条命令就能在本地运行开源大模型，如Llama2等
综上，Ollama是一个大模型部署运行工具，在该工具里面可以部署运行各种大模型，方便开发者在本地搭建一套大模型运行环境：

说明

例如，运行一个7B(70亿参数)的模型至少需要8GB的可用内存(RAM),而运行一个13B(130亿参数)的模型,需要16GB的内存，33B(330亿参数)的模型需要32GB的内存；
需要考虑有足够的磁盘空间，大模型的文件大小可能比较大，建议至少为Olma和其模型预留50GB的磁盘空间：
性能较高的CPU可以提供更好的运算速度和效率，多核处理器能够更好地处理并行任务，选择具有足够核心数的CPU;
显卡(GPU)Qllama支持纯CPU运行但如果电脑配备了NVIDIA GPU,可以利用GPU进行加速，提高模型的运行速度和性罷：

# 安装

ollama默认是安装在C盘，更换盘符

事先创建好要安装位置
进入 CMD 输入 OllamaSetup.exe /DIR=安装位置

# 端口

ollama默认端口是：11434

# 运行模型

大模型名称可以去官网找 (opens new window)
运行命令：ollama run 模型名称:版本

# LLM 模型常见三种角色

System：用于设置AI的行为、角色、背景等，通常可以用于设定对话的语境，让AI在指定的语境下工作
Assistant：指的AI回复的信息，由AI自动生成
User：代表用户的提问