Raspberry Pi ашиглан DIY AI туслахыг хэрхэн бүтээх вэ

Raspberry Pi ашиглан DIY AI туслахыг хэрхэн бүтээх вэ

Таны удирдамжийг дагаж, өөрийн техник хэрэгслээр ажилладаг, таныг буруу сонссон учраас санамсаргүйгээр арван хоёр хан боргоцой захиалахгүй бяцхан дуут туслахыг хүсч байна уу? Raspberry Pi-тэй DIY AI Assistant нь гайхалтай хүрч болохуйц, хөгжилтэй, уян хатан байдаг. Та сэрүүн үг, яриа таних (ASR = автомат яриа таних), байгалийн хэлний тархи (дүрэм эсвэл LLM) болон текстээс яриа (TTS) холбох болно. Хэд хэдэн скрипт, нэг эсвэл хоёр үйлчилгээ, зарим нэг болгоомжтой аудио тохируулга нэмбэл, таны дүрэмд нийцсэн халаасанд зориулсан ухаалаг чанга яригчтай болно.

Таныг үсээ зулгаахгүйгээр 0-ээс Pi-тэй ярихад хүргэцгээе. Бид хэсэг, тохиргоо, код, харьцуулалт, готча... бурритог бүхэлд нь хамрах болно. 🌯

Үүний дараа унших дуртай нийтлэлүүд:

🔗 AI-г хэрхэн үр дүнтэй судлах вэ
Судалгааны замын зураг гаргаж, төслүүдийг хэрэгжүүлэх, ахиц дэвшлийг хянах.

🔗 AI компанийг хэрхэн эхлүүлэх вэ
Асуудлыг баталгаажуулах, MVP-г бий болгох, баг цуглуулах, анхны үйлчлүүлэгчдийг хамгаалах.

🔗 Илүү бүтээмжтэй байхын тулд хиймэл оюун ухааныг хэрхэн ашиглах вэ
Ердийн ажлуудыг автоматжуулж, ажлын урсгалыг оновчтой болгож, бүтээлч үр дүнг нэмэгдүүлнэ.

🔗 AI-г бизнестээ хэрхэн оруулах вэ
Өндөр нөлөө бүхий үйл явцыг тодорхойлох, туршилтыг хэрэгжүүлэх, ROI, масштабыг хэмжих.

Raspberry Pi-тэй хиймэл хиймэл оюун ухааны сайн туслахыг юу болгодог вэ ✅

  • Өгөгдмөлөөр хувийн - боломжтой бол аудиог локал байлгах. Төхөөрөмжөөс юу үлдэхийг та өөрөө шийднэ.

  • Модульчлагдсан - Lego гэх мэт бүрэлдэхүүн хэсгүүдийг солих: wake word engine, ASR, LLM, TTS.

  • Боломжийн үнэ - ихэвчлэн нээлттэй эх сурвалж, барааны микрофон, чанга яригч, Pi.

  • Хакердах боломжтой - гэрийн автоматжуулалт, хяналтын самбар, дэг журам, тусгай ур чадвар хүсч байна уу? Хялбар.

  • Найдвартай - үйлчилгээгээр удирддаг, ачаалж, автоматаар сонсож эхэлдэг.

  • Хөгжилтэй - та аудио, процесс, үйл явдалд тулгуурласан дизайны талаар маш их зүйлийг сурах болно.

Бяцхан зөвлөгөө: Хэрэв та Raspberry Pi 5 ашигладаг бөгөөд илүү хүнд орон нутгийн загваруудыг ажиллуулахаар төлөвлөж байгаа бол хавчууртай хөргөгч нь ачаалал ихтэй үед тусалдаг. (эргэлзэж байвал Pi 5-д зориулагдсан албан ёсны Active Cooler-ийг сонгоорой.) [1]

Танд хэрэгтэй эд анги, хэрэгсэл 🧰

  • Raspberry Pi : Pi 4 эсвэл Pi 5-ийг өндөр зайд ашиглахыг зөвлөж байна.

  • microSD карт : 32 GB+ санал болгож байна.

  • USB микрофон : энгийн USB хурлын микрофон нь маш сайн.

  • Чанга яригч : USB эсвэл 3.5 мм чанга яригч, эсвэл I2S өсгөгч HAT.

  • Сүлжээ : Ethernet эсвэл Wi-Fi.

  • Нэмэлт гоё зүйлс: гэр, идэвхтэй хөргөгч , ярих товчлуур, LED цагираг. [1]

Үйлдлийн систем ба үндсэн тохиргоо

  1. Raspberry Pi Imager бүхий Flash Raspberry Pi үйлдлийн систем Энэ нь таны хүссэн тохиргоотой ачаалах боломжтой microSD авах энгийн арга юм. [1]

  2. Ачаалах, сүлжээнд холбогдох, дараа нь багцуудыг шинэчлэх:

sudo apt update && sudo apt upgrade -y

  1. Аудио үндсэн мэдээлэл : Raspberry Pi үйлдлийн систем дээр та үндсэн гаралт, түвшин болон төхөөрөмжүүдийг ширээний UI эсвэл raspi-config . USB болон HDMI аудиог бүх загварт дэмждэг; Bluetooth гаралт нь Bluetooth-тэй загваруудад боломжтой. [1]

  2. Төхөөрөмжүүдийг баталгаажуулах:

arecord -l aplay -l

Дараа нь зураг авалт болон тоглуулахыг туршина. Хэрэв түвшин хачирхалтай санагдаж байвал микрофоныг буруутгахаасаа өмнө холигч болон үндсэн тохиргоог шалгана уу.

 

Хиймэл оюун ухаант бөөрөлзгөнө пи

Архитектурыг харвал 🗺️

ухаалаг DIY AI Assistant дараах байдалтай байна.

Сэрээх үг → амьд аудио бичлэг хийх → ASR транскрипци → зорилго боловсруулах эсвэл LLM → хариултын текст → TTS → аудио тоглуулах → MQTT эсвэл HTTP-ээр дамжуулан нэмэлт үйлдэл.

  • Сэрэх үг : Porcupine нь жижиг хэмжээтэй, нарийвчлал сайтай бөгөөд түлхүүр үг бүрийн мэдрэмжийн хяналттай орон нутагт ажилладаг. [2]

  • ASR : Whisper бол ~680 мянган цагт бэлтгэгдсэн олон хэлтэй, ерөнхий зориулалттай ASR загвар юм; Энэ нь өргөлт/арын дуу чимээнд тэсвэртэй. Төхөөрөмж дээр ашиглахын тулд whisper.cpp нь туранхай C/C++ дүгнэлтийн замыг өгдөг. [3][4]

  • Тархи : Таны сонголт – API-ээр дамжуулан үүлэн LLM, дүрмийн хөдөлгүүр эсвэл морины хүчнээс хамааран орон нутгийн дүгнэлт.

  • TTS : Пайпер нь энгийн техник хангамж дээр хурдан хариу өгөхөд хангалттай хурдан, байгалийн яриаг дотооддоо үүсгэдэг. [5]

Шуурхай харьцуулах хүснэгт 🔎

Хэрэгсэл Хамгийн тохиромжтой Үнэтэй Яагаад ажилладаг вэ
Гахайн сэрэх үг Үргэлж сонсох гох Үнэгүй түвшин + Бага CPU, үнэн зөв, хялбар холбох [2]
Whisper.cpp Pi дээрх орон нутгийн ASR Нээлттэй эх сурвалж Сайн нарийвчлал, CPU-д ээлтэй [4]
Илүү хурдан - шивнэх CPU/GPU дээр илүү хурдан ASR Нээлттэй эх сурвалж CTranslate2 оновчлол
Piper TTS Орон нутгийн ярианы гаралт Нээлттэй эх сурвалж Хурдан дуу хоолой, олон хэл [5]
Cloud LLM API Баян үндэслэл Хэрэглээнд суурилсан Хүнд тооцооллыг буулгадаг
Зангилаа-УЛААН Зохицуулах үйлдлүүд Нээлттэй эх сурвалж Харааны урсгал, MQTT-д ээлтэй

Алхам алхмаар бүтээх: Таны анхны дуу хоолой 🧩

Бид сэрэх үгэнд Porcupine, транскрипцэд Whisper, хариултанд хөнгөн жинтэй "тархи" функцийг (таны сонгосон LLM-ээр солино уу), ярианд Piper-ийг ашиглана. Үүнийг хамгийн бага хэмжээнд байлгаад дараа нь давт.

1) Хамаарал суулгах

sudo apt суулгах -y python3-pip portaudio19-dev sox ffmpeg pip3 дууны төхөөрөмжийг numpy суулгах

  • Porcupine: өөрийн хэлний SDK/холбогчийг аваад хурдан эхлүүлэх (хандалтын түлхүүр + түлхүүр үгийн жагсаалт + аудио хүрээ → .process ) хийгээрэй. [2]

  • Шивнээ (CPU-д ээлтэй): whisper.cpp :

git clone https://github.com/ggml-org/whisper.cpp cd whisper.cpp && cmake -B build && cmake --build build -j ./models/download-ggml-model.sh base.en ./build/bin/whisper-cli -m ./models/bin/whisper-cli -таны.

Дээрх нь төслийн хурдан эхлэлийг харуулж байна. [4]

Python-ийг илүүд үзэх үү? хурдан шивнээ (CTranslate2) нь даруухан CPU дээр ванилийн Python-оос илүү хурдан байдаг.

2) Piper TTS-ийг тохируулна уу

git clone https://github.com/rhasspy/piper cd piper make # Таалагдсан дуу хоолойны загвараа татаж аваарай, жишээ нь en_US-amy echo "Сайн уу." | ./piper --model voices/en/en_US-amy-medium.onnx --output_file hello.wav aplay hello.wav

Piper нь олон дуу хоолой/хэлний сонголттой төхөөрөмж дээрх TTS-д зориулагдсан. [5]

3) Python дахь хамгийн бага туслах гогцоо

Санаатайгаар авсаархан: сэрэх хэллэгийг (stub) хүлээж, бичиж, whisper.cpp , хариу (орлуулагч) үүсгэж, дараа нь Piper-ээр ярьдаг. Орлуулагчийг дуртай LLM эсвэл дүрмийн логикоор соль.

import os, subprocess, wave import sounddevice as sd WAKE_WORD = "хөөе компьютер" # үйлдвэрлэлд байгаа Porcupine-г солих "/home/pi/whisper.cpp/build/bin/whisper-cli" # [4] ASR_MODEL = "/home/pi/whisper.cpp/models/ggml-base.en.bin" PIPER_BIN = "/home/pi/piper/build/piper" # [5] PIPERV "/home/pi/piper/voices/en/en_US-amy-medium.onnx" os.makedirs(WORKDIR, exist_ok=Үнэн) def record_wav(зам, секунд=RECORD_SECONDS): audio = sd.rec(int(секунд * SAMPLE_SAMPLEs, sample_rates=NEW) dtype='int16') wait.open(зам, 'wb') бүхий sd.wait() w: w.setnchannels(CHANNELS); w.setsampwidth(2); w.setframerate(SAMPLE_RATE) w.writeframes(audio.tobytes()) def транскрипт(зам): cmd = [ASR_BIN, "-m", ASR_MODEL, "-f", зам, "-otxt"] subprocess.run(cmd, check=Үнэн, cwd=нээлттэй("WORKDIR"),("."v)place. "r", encoding="utf-8") гэж f: return f.read().strip() def generate_reply(prompt): хэрэв prompt.lower()-д "цаг агаар" байвал: "Би үүл харж чадахгүй байна, гэхдээ зүгээр байж магадгүй. Болзошгүй тохиолдолд хүрэм авчир." буцаах "Та хэлсэн: " + prompt def speak(текст): proc = subprocess.Popen([PIPER_BIN, "--model", PIPER_VOICE, "--output_file", f"{WORKDIR}/reply.wav"], stdin=subprocess.PIPE) proc.stdin.world(text). proc.stdin.close(); proc.wait() subprocess.run(["aplay", f"{WORKDIR}/reply.wav"], check=True) print("Туслах бэлэн байна. Туршихын тулд сэрээх хэллэгийг бичнэ үү.") Үнэн: typed = input("> ").strip().lower() бичсэн бол == WAKE_W =: waKE_W f"{WORKDIR}/input.wav" record_wav(wav_path) text = transscribe(wav_path) reply = generate_reply(текст) print("Хэрэглэгч:", текст); print("Туслах:", хариулах) ярих(хариулах) else: print("Голтыг шалгахын тулд сэрээх хэллэгийг бичнэ үү.")

Бодит сэрэх үг илрүүлэхийн тулд Porcupine-ийн урсгал мэдрэгчийг (бага CPU, түлхүүр үг бүрийн мэдрэмж) нэгтгэнэ үү. [2]

Үнэн хэрэгтээ чухал аудио тохируулга 🎚️

Хэд хэдэн жижиг засварууд нь таны туслахыг 10 дахин илүү ухаалаг болгодог:

  • Микрофоны зай : 30-60 см нь олон USB микрофоны хувьд таатай цэг юм.

  • Түвшин : оролт дээр хайчлахаас зайлсхийж, тоглуулахыг эрүүл байлгах; кодын сүнсийг хөөхөөс өмнө чиглүүлэлтээ засах. raspi-config ашиглан гаралтын төхөөрөмж болон түвшинг удирдах боломжтой . [1]

  • Өрөөний акустик : хатуу хана нь цуурай үүсгэдэг; микрофон доорх зөөлөн дэвсгэр нь тусалдаг.

  • Сэрэх үгийн босго : хэт мэдрэмтгий → сүнс өдөөгч; хэтэрхий хатуу → та хуванцар руу хашгирах болно. Porcupine нь түлхүүр үг бүрийн мэдрэмжийг өөрчлөх боломжийг танд олгоно. [2]

  • Дулаан : Pi 5 дээрх урт транскрипцүүд нь тогтвортой ажиллахын тулд албан ёсны идэвхтэй хөргөгчөөс ашиг тустай. [1]

Тоглоомоос цахилгаан хэрэгсэл рүү шилжих нь: Үйлчилгээ, Автомат эхлүүлэх, Эрүүл мэндийн үзлэг 🧯

Хүмүүс скрипт ажиллуулахаа мартдаг. Компьютер сайхан байхаа мартдаг. Өөрийн давталтыг удирддаг үйлчилгээ болгон хувирга:

  1. Системийн нэгж үүсгэх:

[Нэгж] Тайлбар=DIY дуут туслах дараа=network.target sound.target [Үйлчилгээ] Хэрэглэгч=pi WorkingDirectory=/home/pi/assistant ExecStart=/usr/bin/python3 /home/pi/assistant/assistant.py Restart=үргэлж RestartSec]=3-Бүдтэй.

  1. Үүнийг идэвхжүүлэх:

sudo cp assistant.service /etc/systemd/system/ sudo systemctl дэмон-дахин ачаалах sudo systemctl идэвхжүүлэх --одоо assistant.service

  1. Бүртгэлийн сүүл:

journalctl -u туслах -f

Одоо энэ нь ачаалах үед эхэлж, эвдэрсэн үед дахин асч, ерөнхийдөө цахилгаан хэрэгсэл шиг ажилладаг. Жаахан уйтгартай, хамаагүй дээр.

Ур чадварын систем: Үүнийг гэртээ үнэхээр хэрэгтэй болгох 🏠✨

Дуу хоолойгоор оруулах, гаргах нь тогтвортой болмогц дараах үйлдлүүдийг нэмнэ үү:

  • Зорилго чиглүүлэгч : нийтлэг ажлуудад зориулсан энгийн түлхүүр үгийн маршрутууд.

  • Ухаалаг гэр : үйл явдлыг MQTT-д нийтлэх эсвэл Home Assistant-ийн HTTP төгсгөлийн цэгүүд рүү залгах.

  • Plugins : set_timer , what_is_the_time , play_radio , run_scene .

Cloud LLM-тэй байсан ч хурд, найдвартай байдлыг хангахын тулд эхлээд тодорхой орон нутгийн командуудыг чиглүүлээрэй.

Зөвхөн орон нутгийн Cloud Assist-ийн эсрэг: Танд мэдрэгдэх давуу талууд 🌓

Зөвхөн орон нутгийн
давуу талууд: хувийн, офлайн, урьдчилан таамаглах боломжтой зардал.
Сул талууд: илүү хүнд загварууд нь жижиг самбар дээр удаан байж болно. Whisper-ийн олон хэлний сургалт нь хэрэв та үүнийг төхөөрөмж дээрээ эсвэл ойролцоох сервер дээр байлгавал бат бөх байхад тусална. [3]

Cloud assist-ийн
давуу тал: хүчирхэг үндэслэл, том контекст цонх.
Сул талууд: өгөгдөл нь төхөөрөмжөөс гарах, сүлжээний хамаарал, хувьсах зардал.

Гибрид ихэвчлэн хождог: сэрэх үг + ASR локал → үндэслэл гаргах API дууд → TTS локал. [2][3][5]

Асуудлыг олж засварлах: Хачирхалтай Гремлин ба хурдан засварууд 👾

  • Хуурамч үгийн өдөөгчийг сэрээх : мэдрэмжийг бууруулж эсвэл өөр микрофон ашиглаж үзнэ үү. [2]

  • ASR хоцрогдол : жижиг Whisper загвар ашиглах эсвэл хувилбарын туг бүхий whisper.cpp-г -j --config Release ). [4]

  • Choppy TTS : нийтлэг хэллэгийг урьдчилан үүсгэх; аудио төхөөрөмж болон дээжийн хурдыг баталгаажуулна уу.

  • Микрофон илэрсэнгүй : arecord -l болон холигчийг шалгана уу.

  • Дулаан тохируулагч : Тогтвортой ажиллахын тулд Pi 5 дээрх албан ёсны Active Cooler-ийг ашиглана уу. [1]

Таны унших ёстой аюулгүй байдал, нууцлалын тэмдэглэл 🔒

  • APT ашиглан Pi-ээ шинэчлээрэй.

  • Хэрэв та ямар нэгэн клоуд API ашигладаг бол илгээсэн зүйлээ бүртгэж аваад эхлээд хувийн битүүдийг дотооддоо засварлах талаар бодож үзээрэй.

  • Үйлчилгээг хамгийн бага давуу эрхээр ажиллуулах; Шаардлагагүй бол ExecStart дээр sudo хийхээс зайлсхий

  • Зочдод эсвэл чимээгүй цагуудад зөвхөн орон нутгийн горимоор хангах

Хувилбаруудыг бүтээх: Сэндвич шиг хольж, тааруулах 🥪

  • Хэт орон нутгийн : Porcupine + whisper.cpp + Piper + энгийн дүрэм. Хувийн бөгөөд бат бөх. [2][4][5]

  • Хурдан үүлэн тусламж : Porcupine + (жижиг орон нутгийн шивнээ эсвэл үүлэн ASR) + TTS локал + үүл LLM.

  • Гэрийн автоматжуулалтын төв : Ажиллагаа, үзэгдэл, мэдрэгчүүдэд зориулж Node-RED эсвэл Home Assistant урсгалыг нэмнэ үү.

Жишээ ур чадвар: MQTT 💡-ээр асдаг

paho.mqtt.client-г mqtt байдлаар импортлох MQTT_HOST = "192.168.1.10" СЭДЭВ = "гэр/зочны өрөө/гэрэл/тогтоох" def set_light(төлөв: str): client = mqtt.Client() client.connect(MQTT_HOST, 1883) төлбөртэй бол = 60" state.lower().startswith("on") else "OFF" client.publish(TOPIC, payload, qos=1, retain=False) client.disconnect() # хэрэв текст дэх "гэрэл асаавал": set_light("on")

"Зочны өрөөний чийдэнг асаа" гэх мэт дуут мөрийг нэмбэл өөрийгөө шидтэн мэт мэдрэх болно.

Энэ стек яагаад практик дээр ажилладаг вэ 🧪

  • Porcupine нь жижиг самбар дээр сэрүүн үг илрүүлэхэд үр дүнтэй бөгөөд үнэн зөв байдаг нь үргэлж сонсох боломжтой болгодог. [2]

  • Whisper-ийн том, олон хэлний сургалт нь түүнийг янз бүрийн орчин, өргөлтөд тэсвэртэй болгодог. [3]

  • whisper.cpp энэ хүчийг Pi зэрэг зөвхөн CPU ашигладаг төхөөрөмжүүдэд ашиглах боломжтой байлгадаг. [4]

  • Piper нь дууг үүлэн TTS рүү илгээхгүйгээр хариуг хурдан шуурхай өгдөг. [5]

Хэт удаан, уншаагүй

модульчлагдсан, хувийн DIY AI Туслагчийг whisper.cpp- ), хариулт өгөх тархины өөрийн сонголт, орон нутгийн TTS-д Piper-ийг хослуулан MQTT эсвэл HTTP үйлдлээр үүнийг системийн үйлчилгээ болгон боож, дууг тааруулж, утсыг тохируулна уу. Энэ нь таны бодсоноос хямд бөгөөд хамт амьдрахад хачирхалтай. [1][2][3][4][5]

Лавлагаа

  1. Raspberry Pi програм хангамж ба хөргөлт - Raspberry Pi дүрслэгч (татаж авах, ашиглах) болон Pi 5 Active Cooler бүтээгдэхүүний мэдээлэл

  2. Porcupine Wake Word – SDK ба хурдан эхлүүлэх (түлхүүр үг, мэдрэмж, орон нутгийн дүгнэлт)

  3. Шивнээ (ASR загвар) - ~680 мянган цагт бэлтгэгдсэн олон хэлтэй, бат бөх ASR

    • Радфорд нар., Том хэмжээний сул хяналт (шивнэх) замаар хүчтэй яриа таних: дэлгэрэнгүй

  4. whisper.cpp – CPU-д ээлтэй CLI болон бүтээх алхмуудыг ашиглан шивнээний дүгнэлт

  5. Piper TTS – Олон дуу хоолой/хэл бүхий хурдан, орон нутгийн мэдрэлийн TTS

Албан ёсны AI Assistant дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай

Блог руу буцах