Вопросы с меткой [multiprocessing]

multiprocessing - это использование двух или более центральных процессоров в рамках одной компьютерной системы. Соответствующие детали реализации и использования варьируются в зависимости от операционной системы и языка программирования. Поэтому всегда добавляйте теги для операционной системы, и для языка.

Фильтрация
Сортировка
Метки
6 голосов
1 ответ
106 показов

Глобальный мьютекс в Linux

Сразу: Linux не моё, так что, возможно, напишу ерунду и решение давно есть, просто я его не нагуглил... Имеется расчетная программа, запускается во многих экземплярах, т.е. имеем не многопоточность, а ...
Harry's user avatar
  • 221k
0 голосов
1 ответ
22 показа

Сохранение значения переменной из multiprocess.Process после его завершения

Имеется процесс запущенный через multiprocess.Process, в нём изменяется значение свойства класса, как я могу сохранить это значение после завершения процесса?
Airen's user avatar
  • 1
0 голосов
0 ответов
18 показов

Как правильно использовать комбинацию ThreadPool и PySpark для записи в одну таблицу?

У меня есть набор табличек (более тысячи), в каждой из которых одна колонка ('date') содержит только одно значение, но для разных таблиц это значение разное (как для партицирования). Все эти файлы я ...
PolarNight's user avatar
1 голос
1 ответ
57 показов

Скрипт не работает вне IDE

import random import pyautogui as pg from time import sleep import os import keyboard import signal import multiprocessing as mp flag = True # Флаг состояния потока moveTo_pressF5_thread # Функция ...
DD Alter's user avatar
0 голосов
0 ответов
24 показа

multiprocessing.Pool не дожидаться завершения процесса и проверка существования процесса

рабочее окружение tkinter, внем запущен таймер который выводится в окно, и параллельно должен происходить другой процесс, но окно зависает и плюс не могу проверить жив ли процесс через какое-то время. ...
T800's user avatar
  • 105
0 голосов
1 ответ
80 показов

Как поставить выполнение всего скрипта на паузу?

У меня есть скрипт который в с некоторой периодичностью двигает мышкой и обновляет страницу (нажимает ф5). Я хочу чтобы была возможность поставить скрипт на паузу (чтобы таймер который отсчитывает ...
DD Alter's user avatar
0 голосов
0 ответов
45 показов

Параллельная загрузка файлов в python/bash

Как лучше организовать параллельную загрузку очень больших файлов (50-1000гб) файлов из разных источников в python3 и стоит ли делать так вообще? Изначально предполагалось использовать wget (с опцией -...
Jumstic's user avatar
  • 15
2 голоса
3 ответа
153 показа

Странный баг с многопроцессностью

Я изучаю многопроцессность, многопоточность и асинхронность в питоне. Я написал вот такой простой код для практики: import time import tkinter as tk import multiprocessing as mp def start(): ...
Egork.vorobiev's user avatar
0 голосов
1 ответ
133 показа

Как подключиться к одному профилю chrome из нескольких потоков с selenium'ом?

Сделал отдельную папку для профиля, в котором настроены несколько параметров, вроде загрузки изображений для сайта (сделал "настройки сайта" -> "картинки"="блокировать"...
Gh0sTG0's user avatar
  • 808
0 голосов
1 ответ
96 показов

Некорректная работа модуля multiprocessing в exe файле

Я решил использовать multiprocessing для параллельного отображения графиков (они анимированные). При запуске из скрипта именно из среды разработки, всё работает, я получаю нужный мне результат графики ...
Flowmaster's user avatar
0 голосов
0 ответов
61 показ

python.multiprocessing и изменение shared-memory object

Можно ли применить в multiprocessing функцию, которая имеет внутри цикл, в каждой итерации записывающий новую строку в результат? Буду благодарен если напишите какие инструменты для этого нужны: ...
Daneel Ank's user avatar
0 голосов
0 ответов
194 показа

Работа бота на aiogram 3.0 с несколькими пользователями одновременно

Имеется небольшой бот на библиотеке aiogram 3.0, который должен авторизовать пользователя через другую библиотеку. Всё отлично работает с одним пользователем, но когда одновременно два пользователя ...
YarMinator's user avatar
0 голосов
2 ответа
52 показа

Многопоточность с multiprocessing + json

Программа используется для огромного кол-ва итераций. Для этого использовал библиотеку multiprocessing. Создал несколько параллельных потоков для большей эффективности, но при записи данных в json ...
Mr. Nazy's user avatar
0 голосов
0 ответов
77 показов

Проблема с многопоточностью в приложении

В общем, я решил создать приложение-таймер, но вот проблема, при использовании многопоточности, я не могу реализовать кнопку сброса таймера, а при использовании дополнительного процесса, оно запускает ...
ShadowFly's user avatar
0 голосов
1 ответ
42 показа

Ждать выполнения фоновых процессов в Python/multiprocessing?

chunk_size = count_lines() // 4 for n in range(4): name = 'prcss'+str(n) st_chunk = n * (chunk_size+1) fn_chunk = st_chunk + chunk_size ...
YSOFF's user avatar
  • 11
0 голосов
1 ответ
236 показов

Python, обмен данными между процессами

Имеется основной python процесс, происходящий в окружении А (python 2.7), этот процесс в какой то момент вызывает сторонний exe с несколькими аргументами, который в свою очередь создает дочерний ...
IvanZharov's user avatar
0 голосов
2 ответа
184 показа

Как мне запустить 2 процесса одновременно?

Я делаю будильник на питоне и мне нужно запустить 2 процесса. Первый должен выводить окно, а второй запускать звук. process1 и process2, несмотря на multiprocessing запускаются поочередно, а не ...
user561459's user avatar
0 голосов
0 ответов
57 показов

multiprocessing torch.cuda не определяет device

Из главного скрипта вызываю другой скрипт в мультипроцесе, чтобы не тормозит главное окно. Во втором скрипте есть задача определить/подтвердить существование выбранного девайса (видеокарта, процессор) ...
T800's user avatar
  • 105
0 голосов
0 ответов
25 показов

Асинхронное ожидание завершения второстепенного процесса

Есть главная функция def start(), есть функция расчета в другом скрипте def learning() (она вызывается из функции def first() через multiprocessing - Process) и есть функция вывода результата def ...
T800's user avatar
  • 105
0 голосов
1 ответ
156 показов

Ошибка TypeError: cannot pickle '_tkinter.tkapp' object при вызове метода через multiprocessing

Пытаюсь вызвать параллельную задачу, чтобы не зависало окно tkinter. Но просто вечно ругается. Уже и код переделал под запуск из __main__ и все равно ему что-то не нравится. import ttkbootstrap as ttk ...
T800's user avatar
  • 105
0 голосов
0 ответов
50 показов

Selenium multiprocessing with telebot

При вызове функции селениума с мультипроцессингом выдаёт ошибку: telebot.apihelper.ApiTelegramException: A request to the Telegram API was unsuccessful. Error code: 409. Description: Conflict: ...
Ghauru's user avatar
  • 1
1 голос
0 ответов
39 показов

Постройка архетектуры десктоп приложения

Я хочу сделать desktop приложение, оно открывает локальный html файл, в котором через js подгружается весь контент, сам контент должен подгружаться с локального сервера, который должен запускаться ...
abuztrade's user avatar
0 голосов
1 ответ
78 показов

Как запустить функцию другого модуля в новом процессе

Возникла проблема с асинхронностью кода на python. У нас есть бот, написанный на библиотеке aiogram. В нем необходимо создать процесс, в котором будет бесконечно выполнятся функция из другого модуля. ...
vortexsf24's user avatar
1 голос
1 ответ
68 показов

Как завершить выполнение программы на Python для всех процессов? [закрыт]

У меня одновременно запущено 4 процесса (1 основной). Когда я хочу завершить работу, я зажимаю Ctrl + C, вызывая KeyboardInterrupt, и при обработке этой ошибки мне нужно завершить все процессы (...
san1rope's user avatar
0 голосов
1 ответ
57 показов

При запуске функции в многопроцесорном режиме исполняется код который не является частью этой функции

Доброго всем времени суток! Работаю над программой которая построчно считывает списки из текстовых файлов и сравнивает с внесенным списком, для ускорения программы используется режим ...
Serg's user avatar
  • 25
0 голосов
1 ответ
75 показов

Остановить скрипт при выполнении условия в потоке мультипроцессинга

Как при работе с мультипроцессингом остановить весь скрипт, если в одном из процессов будет достигнуто условие? То есть, есть мультипроцессинговый пул с аргументами, аргумент попадает в функцию, в ...
xx1's user avatar
  • 35
0 голосов
0 ответов
37 показов

Как убрать ожидания выполнения функции в telebot

Я создаю telegram baton telebot с генерацией изображений в stable diffusion, я использую automatic 1111 и через requests подключаюсь к http://127.0.0.1:7860 и работайте с запросами к нему. Проблема в ...
Innoky's user avatar
  • 5
1 голос
0 ответов
27 показов

Хочу чтобы в окно ТК выводило текст через multiprocessing .Но при запуске ничего не происходит( [дубликат]

from tkinter import * import time import multiprocessing window = Tk() window.title("Info_window") window.geometry("1280x720") window.resizable(False,False) canvas1 = Canvas(...
max's user avatar
  • 39
3 голоса
3 ответа
293 показа

Как сделать многопроцессорность?

Функция принимает список чисел и для каждого делает список из чисел на которые оно делится без остатка. Я пытаюсь реализовать передачу нескольких чисел, но получаю очень много ошибок. Объясните как ...
Pain's user avatar
  • 196
0 голосов
1 ответ
66 показов

Многопроцессорность работает на Windows, но не работает на Ubuntu

Я пытаюсь разделить загрузку файлов с сервера и их обработку с использованием модели transformer на отдельные процессы. Чтобы попрактиковаться в работе с очередью в многопроцессорной обработке, я ...
Gawain's user avatar
  • 581
0 голосов
0 ответов
79 показов

Несколько процессов в pyqt

Задача: Нужно написать приложение, которое открывает файлы пользователя, делает с ними некоторые операции, а затем перезаписывает их в другое место на диске. Проблема: Работать с файлами нужно быстро, ...
Lernos's user avatar
  • 31
0 голосов
1 ответ
82 показа

Python progress bar в GET-запросах

Мне нужно одновременно отправить 1000 GET-запросов с помощью multiprocessing и через библиотеку tqdm отслеживать уже отправленные запросы Проблема состоит в том, что я работаю со списком и при ...
Mishgen's user avatar
-1 голос
3 ответа
292 показа

Как сделать multiprocessing для одной функции запущенной несколько раз

Есть одна функция, её нужно запустить 4 раза с разными данными так, чтобы все эти 4 раза функция запускались одновременно, с максимальной производительностью, а не поочерёдно. Буду благодарен любой ...
Кирилл Мак's user avatar
1 голос
1 ответ
81 показ

Как модифицировать член класса в multiprocessing.Pool.map?

Я пытаюсь распараллелить множественные вычисления численными методами. Есть функция, которая принимает скалярные значения x1, x2 и вычисляет значение функции в этой точке. Значение функции необходимо ...
maestro's user avatar
  • 4,735
0 голосов
0 ответов
54 показа

ImportError: cannot import name 'user_list' from 'analysis'

для ускорения работы функции использовала мультипроцессинг. а затем поставляю данные для получения нужного результата в метод и получаю некий список. как этот список импортировать в другой py-файл ...
Алеся 's user avatar
0 голосов
1 ответ
111 показов

python ProcessPoolExecutor

У меня есть класс, парсер, который нужно запустить в многопроцессорности. Я использую ProcessPoolExecutor() модуля concurrent.futures и в цикле передаю в класс парсера категорию и запускаю парсер. Все ...
andreyru02's user avatar
0 голосов
1 ответ
33 показа

multiprocessing MemoryError

phrases = getPhrases(start_phrase_txt) pool = Pool(processes=3, maxtasksperchild=1000) for i in range(0, len(phrases)): pool.apply_async(checkPhrase, args=(phrases[i], phrases[i+1:], i, len(...
Максим Филимонов's user avatar
0 голосов
1 ответ
54 показа

При использовании multiprocessing идёт зацикливание после компиляции pyinstaller

Я использую multiprocessing и столкнулся с проблемой. После компиляции программы в exe с помощью pyinstaller, почему-то всё начиная с print('123') зацикливается. Когда я запускаю не скомпилированный ...
Канал Shoker 2's user avatar
0 голосов
1 ответ
154 показа

Как завершить дочерние процессы запущенные запросом в асинхронном коде?

Веб-сервер при получении get запроса запускает три процесса. Задача заключается в корректном завершении дочерних процессов при получении сигнала SIGTERM в главном процессе (ctrl+C, завершить процесс в ...
Хачатур Саркисян's user avatar
1 голос
1 ответ
99 показов

Подсчитать количество потоков в системе linux на python

Собственно задание, найти количество всех потоков в системе. В приоритете сделать это с помощью встроенных библиотек, но альтернативные варианты тоже подойдут. Помогите пожалуйста, заранее спасибо!
intersergey's user avatar
0 голосов
1 ответ
33 показа

Проблема с заморозкой цикла

Суть вопроса в следующем - функция main постоянно проверяет базу данных на предмет изменения значений. Далее при определённом условии должна запускать функцию logic. Она её запускает, но в тот же ...
сломанный трамвай's user avatar
0 голосов
0 ответов
93 показа

Multiprocessing. При запуске одновременно двух браузеров, второй стоит в ожидании

from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By import time import json import os import sys from multiprocessing ...
Александр Валиев's user avatar
0 голосов
1 ответ
390 показов

aiogram отправка сообщения в отдельном потоке

Есть такой вот код, который запускает бота и отдельный поток с функцией. import time from classes.Bot import dp, on_startup, on_shutdown from aiogram import executor from multiprocessing import ...
Дима Белич's user avatar
0 голосов
0 ответов
29 показов

multiprocessing. Как сделать задержку между Pool процессами

Проблема заключается в том что если процессы срабатывают одновременно то код начинает криво работать. Поэтому нужна задержка перед началом работы, либо в самой функции. import multiprocessing as mp ...
PeFoo's user avatar
  • 59
0 голосов
1 ответ
33 показа

Почему ThreadPoolExecutor работает на MacOS, но перестает работать на Linux

Я столкнулся с проблемой Я распараллелил процессы с помощью ThreadPoolExecutor Вот пример: with concurrent.futures.ThreadPoolExecutor() as executor: executor.map(self.process_by_label, self....
ivan100096's user avatar
0 голосов
1 ответ
168 показов

Как продолжить код после блоки if __name__ == '__main__'

Мне нужно, чтобы код, который находится после блока if __name__ == '__main__' запускался, только после того, как блок if __name__ == '__main__' выполнит свои задачи. Но я столкнулся с тем, что в ...
Gothed's user avatar
  • 27
0 голосов
1 ответ
96 показов

BeautifulSoup и threading/multiprocessing

Мне нужно пройтись по двумерному массиву, в котором содержаться ссылки и совершить определенное действие с ссылками с этого массива через BeautifulSoup и добавить определенной элемент в тот подмассив, ...
Gothed's user avatar
  • 27
0 голосов
2 ответа
77 показов

python multiprocessing

import time from random import randint import os from datetime import datetime from multiprocessing import Process, current_process def gat(number): result = number * 2 proc_name = ...
manu's user avatar
  • 1
0 голосов
0 ответов
59 показов

Как получить данные из основного процесса в дочернем?

Есть основной процесс Main. В нем вызывается другой процесс ChildMain. Я хочу организовать обмен данным между процессами, я могу передать из Main данные через getOutputStream(), но как эти данные ...
Андрей Стариненко's user avatar
0 голосов
1 ответ
181 показ

Aiogram остановка бота на момент парсинга. Multiprocessing. Async

Мне нужно с высокой скорость парсить сайт. Для этого я использовал multiprocessing и aiohttp. При запуске парсинга, бот стопорится. Полагаю, проблема где-то в этом участке кода, помогите разобраться. ...
VlasssaDassa's user avatar