Вопросы с меткой [multiprocessing]
multiprocessing - это использование двух или более центральных процессоров в рамках одной компьютерной системы. Соответствующие детали реализации и использования варьируются в зависимости от операционной системы и языка программирования. Поэтому всегда добавляйте теги для операционной системы, и для языка.
250
вопросов
6
голосов
1
ответ
106
показов
Глобальный мьютекс в Linux
Сразу: Linux не моё, так что, возможно, напишу ерунду и решение давно есть, просто я его не нагуглил...
Имеется расчетная программа, запускается во многих экземплярах, т.е. имеем не многопоточность, а ...
0
голосов
1
ответ
22
показа
Сохранение значения переменной из multiprocess.Process после его завершения
Имеется процесс запущенный через multiprocess.Process, в нём изменяется значение свойства класса, как я могу сохранить это значение после завершения процесса?
0
голосов
0
ответов
18
показов
Как правильно использовать комбинацию ThreadPool и PySpark для записи в одну таблицу?
У меня есть набор табличек (более тысячи), в каждой из которых одна колонка ('date') содержит только одно значение, но для разных таблиц это значение разное (как для партицирования).
Все эти файлы я ...
1
голос
1
ответ
57
показов
Скрипт не работает вне IDE
import random
import pyautogui as pg
from time import sleep
import os
import keyboard
import signal
import multiprocessing as mp
flag = True # Флаг состояния потока moveTo_pressF5_thread
# Функция ...
0
голосов
0
ответов
24
показа
multiprocessing.Pool не дожидаться завершения процесса и проверка существования процесса
рабочее окружение tkinter, внем запущен таймер который выводится в окно, и параллельно должен происходить другой процесс, но окно зависает и плюс не могу проверить жив ли процесс через какое-то время.
...
0
голосов
1
ответ
80
показов
Как поставить выполнение всего скрипта на паузу?
У меня есть скрипт который в с некоторой периодичностью двигает мышкой и обновляет страницу (нажимает ф5). Я хочу чтобы была возможность поставить скрипт на паузу (чтобы таймер который отсчитывает ...
0
голосов
0
ответов
45
показов
Параллельная загрузка файлов в python/bash
Как лучше организовать параллельную загрузку очень больших файлов (50-1000гб) файлов из разных источников в python3 и стоит ли делать так вообще?
Изначально предполагалось использовать wget (с опцией -...
2
голоса
3
ответа
153
показа
Странный баг с многопроцессностью
Я изучаю многопроцессность, многопоточность и асинхронность в питоне. Я написал вот такой простой код для практики:
import time
import tkinter as tk
import multiprocessing as mp
def start():
...
0
голосов
1
ответ
133
показа
Как подключиться к одному профилю chrome из нескольких потоков с selenium'ом?
Сделал отдельную папку для профиля, в котором настроены несколько параметров, вроде загрузки изображений для сайта (сделал "настройки сайта" -> "картинки"="блокировать"...
0
голосов
1
ответ
96
показов
Некорректная работа модуля multiprocessing в exe файле
Я решил использовать multiprocessing для параллельного отображения графиков (они анимированные). При запуске из скрипта именно из среды разработки, всё работает, я получаю нужный мне результат графики ...
0
голосов
0
ответов
61
показ
python.multiprocessing и изменение shared-memory object
Можно ли применить в multiprocessing функцию, которая имеет внутри цикл, в каждой итерации записывающий новую строку в результат?
Буду благодарен если напишите какие инструменты для этого нужны: ...
0
голосов
0
ответов
194
показа
Работа бота на aiogram 3.0 с несколькими пользователями одновременно
Имеется небольшой бот на библиотеке aiogram 3.0, который должен авторизовать пользователя через другую библиотеку. Всё отлично работает с одним пользователем, но когда одновременно два пользователя ...
0
голосов
2
ответа
52
показа
Многопоточность с multiprocessing + json
Программа используется для огромного кол-ва итераций. Для этого использовал библиотеку multiprocessing. Создал несколько параллельных потоков для большей эффективности, но при записи данных в json ...
0
голосов
0
ответов
77
показов
Проблема с многопоточностью в приложении
В общем, я решил создать приложение-таймер, но вот проблема, при использовании многопоточности, я не могу реализовать кнопку сброса таймера, а при использовании дополнительного процесса, оно запускает ...
0
голосов
1
ответ
42
показа
Ждать выполнения фоновых процессов в Python/multiprocessing?
chunk_size = count_lines() // 4
for n in range(4):
name = 'prcss'+str(n)
st_chunk = n * (chunk_size+1)
fn_chunk = st_chunk + chunk_size
...
0
голосов
1
ответ
236
показов
Python, обмен данными между процессами
Имеется основной python процесс, происходящий в окружении А (python 2.7), этот процесс в какой то момент вызывает сторонний exe с несколькими аргументами, который в свою очередь создает дочерний ...
0
голосов
2
ответа
184
показа
Как мне запустить 2 процесса одновременно?
Я делаю будильник на питоне и мне нужно запустить 2 процесса. Первый должен выводить окно, а второй запускать звук. process1 и process2, несмотря на multiprocessing запускаются поочередно, а не ...
0
голосов
0
ответов
57
показов
multiprocessing torch.cuda не определяет device
Из главного скрипта вызываю другой скрипт в мультипроцесе, чтобы не тормозит главное окно. Во втором скрипте есть задача определить/подтвердить существование выбранного девайса (видеокарта, процессор) ...
0
голосов
0
ответов
25
показов
Асинхронное ожидание завершения второстепенного процесса
Есть главная функция def start(), есть функция расчета в другом скрипте def learning() (она вызывается из функции def first() через multiprocessing - Process) и есть функция вывода результата def ...
0
голосов
1
ответ
156
показов
Ошибка TypeError: cannot pickle '_tkinter.tkapp' object при вызове метода через multiprocessing
Пытаюсь вызвать параллельную задачу, чтобы не зависало окно tkinter. Но просто вечно ругается. Уже и код переделал под запуск из __main__ и все равно ему что-то не нравится.
import ttkbootstrap as ttk
...
0
голосов
0
ответов
50
показов
Selenium multiprocessing with telebot
При вызове функции селениума с мультипроцессингом выдаёт ошибку:
telebot.apihelper.ApiTelegramException: A request to the Telegram API was unsuccessful. Error code: 409. Description: Conflict: ...
1
голос
0
ответов
39
показов
Постройка архетектуры десктоп приложения
Я хочу сделать desktop приложение, оно открывает локальный html файл, в котором через js подгружается весь контент, сам контент должен подгружаться с локального сервера, который должен запускаться ...
0
голосов
1
ответ
78
показов
Как запустить функцию другого модуля в новом процессе
Возникла проблема с асинхронностью кода на python. У нас есть бот, написанный на библиотеке aiogram. В нем необходимо создать процесс, в котором будет бесконечно выполнятся функция из другого модуля. ...
1
голос
1
ответ
68
показов
Как завершить выполнение программы на Python для всех процессов? [закрыт]
У меня одновременно запущено 4 процесса (1 основной). Когда я хочу завершить работу, я зажимаю Ctrl + C, вызывая KeyboardInterrupt, и при обработке этой ошибки мне нужно завершить все процессы (...
0
голосов
1
ответ
57
показов
При запуске функции в многопроцесорном режиме исполняется код который не является частью этой функции
Доброго всем времени суток!
Работаю над программой которая построчно считывает списки из текстовых файлов и сравнивает с внесенным списком, для ускорения программы используется режим ...
0
голосов
1
ответ
75
показов
Остановить скрипт при выполнении условия в потоке мультипроцессинга
Как при работе с мультипроцессингом остановить весь скрипт, если в одном из процессов будет достигнуто условие? То есть, есть мультипроцессинговый пул с аргументами, аргумент попадает в функцию, в ...
0
голосов
0
ответов
37
показов
Как убрать ожидания выполнения функции в telebot
Я создаю telegram baton telebot с генерацией изображений в stable diffusion, я использую automatic 1111 и через requests подключаюсь к http://127.0.0.1:7860 и работайте с запросами к нему. Проблема в ...
1
голос
0
ответов
27
показов
Хочу чтобы в окно ТК выводило текст через multiprocessing .Но при запуске ничего не происходит( [дубликат]
from tkinter import *
import time
import multiprocessing
window = Tk()
window.title("Info_window")
window.geometry("1280x720")
window.resizable(False,False)
canvas1 = Canvas(...
3
голоса
3
ответа
293
показа
Как сделать многопроцессорность?
Функция принимает список чисел и для каждого делает список из чисел на которые оно делится без остатка. Я пытаюсь реализовать передачу нескольких чисел, но получаю очень много ошибок. Объясните как ...
0
голосов
1
ответ
66
показов
Многопроцессорность работает на Windows, но не работает на Ubuntu
Я пытаюсь разделить загрузку файлов с сервера и их обработку с использованием модели transformer на отдельные процессы. Чтобы попрактиковаться в работе с очередью в многопроцессорной обработке, я ...
0
голосов
0
ответов
79
показов
Несколько процессов в pyqt
Задача: Нужно написать приложение, которое открывает файлы пользователя, делает с ними некоторые операции, а затем перезаписывает их в другое место на диске.
Проблема: Работать с файлами нужно быстро, ...
0
голосов
1
ответ
82
показа
Python progress bar в GET-запросах
Мне нужно одновременно отправить 1000 GET-запросов с помощью multiprocessing и через библиотеку tqdm отслеживать уже отправленные запросы
Проблема состоит в том, что я работаю со списком и при ...
-1
голос
3
ответа
292
показа
Как сделать multiprocessing для одной функции запущенной несколько раз
Есть одна функция, её нужно запустить 4 раза с разными данными так, чтобы все эти 4 раза функция запускались одновременно, с максимальной производительностью, а не поочерёдно. Буду благодарен любой ...
1
голос
1
ответ
81
показ
Как модифицировать член класса в multiprocessing.Pool.map?
Я пытаюсь распараллелить множественные вычисления численными методами. Есть функция, которая принимает скалярные значения x1, x2 и вычисляет значение функции в этой точке. Значение функции необходимо ...
0
голосов
0
ответов
54
показа
ImportError: cannot import name 'user_list' from 'analysis'
для ускорения работы функции использовала мультипроцессинг. а затем поставляю данные для получения нужного результата в метод и получаю некий список. как этот список импортировать в другой py-файл ...
0
голосов
1
ответ
111
показов
python ProcessPoolExecutor
У меня есть класс, парсер, который нужно запустить в многопроцессорности.
Я использую ProcessPoolExecutor() модуля concurrent.futures и в цикле передаю в класс парсера категорию и запускаю парсер.
Все ...
0
голосов
1
ответ
33
показа
multiprocessing MemoryError
phrases = getPhrases(start_phrase_txt)
pool = Pool(processes=3, maxtasksperchild=1000)
for i in range(0, len(phrases)):
pool.apply_async(checkPhrase, args=(phrases[i], phrases[i+1:], i, len(...
0
голосов
1
ответ
54
показа
При использовании multiprocessing идёт зацикливание после компиляции pyinstaller
Я использую multiprocessing и столкнулся с проблемой. После компиляции программы в exe с помощью pyinstaller, почему-то всё начиная с print('123') зацикливается.
Когда я запускаю не скомпилированный ...
0
голосов
1
ответ
154
показа
Как завершить дочерние процессы запущенные запросом в асинхронном коде?
Веб-сервер при получении get запроса запускает три процесса. Задача заключается в корректном завершении дочерних процессов при получении сигнала SIGTERM в главном процессе (ctrl+C, завершить процесс в ...
1
голос
1
ответ
99
показов
Подсчитать количество потоков в системе linux на python
Собственно задание, найти количество всех потоков в системе. В приоритете сделать это с помощью встроенных библиотек, но альтернативные варианты тоже подойдут. Помогите пожалуйста, заранее спасибо!
0
голосов
1
ответ
33
показа
Проблема с заморозкой цикла
Суть вопроса в следующем - функция main постоянно проверяет базу данных на предмет изменения значений. Далее при определённом условии должна запускать функцию logic. Она её запускает, но в тот же ...
0
голосов
0
ответов
93
показа
Multiprocessing. При запуске одновременно двух браузеров, второй стоит в ожидании
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time
import json
import os
import sys
from multiprocessing ...
0
голосов
1
ответ
390
показов
aiogram отправка сообщения в отдельном потоке
Есть такой вот код, который запускает бота и отдельный поток с функцией.
import time
from classes.Bot import dp, on_startup, on_shutdown
from aiogram import executor
from multiprocessing import ...
0
голосов
0
ответов
29
показов
multiprocessing. Как сделать задержку между Pool процессами
Проблема заключается в том что если процессы срабатывают одновременно то код начинает криво работать. Поэтому нужна задержка перед началом работы, либо в самой функции.
import multiprocessing as mp
...
0
голосов
1
ответ
33
показа
Почему ThreadPoolExecutor работает на MacOS, но перестает работать на Linux
Я столкнулся с проблемой
Я распараллелил процессы с помощью ThreadPoolExecutor
Вот пример:
with concurrent.futures.ThreadPoolExecutor() as executor:
executor.map(self.process_by_label, self....
0
голосов
1
ответ
168
показов
Как продолжить код после блоки if __name__ == '__main__'
Мне нужно, чтобы код, который находится после блока if __name__ == '__main__' запускался, только после того, как блок if __name__ == '__main__' выполнит свои задачи. Но я столкнулся с тем, что в ...
0
голосов
1
ответ
96
показов
BeautifulSoup и threading/multiprocessing
Мне нужно пройтись по двумерному массиву, в котором содержаться ссылки и совершить определенное действие с ссылками с этого массива через BeautifulSoup и добавить определенной элемент в тот подмассив, ...
0
голосов
2
ответа
77
показов
python multiprocessing
import time
from random import randint
import os
from datetime import datetime
from multiprocessing import Process, current_process
def gat(number):
result = number * 2
proc_name = ...
0
голосов
0
ответов
59
показов
Как получить данные из основного процесса в дочернем?
Есть основной процесс Main. В нем вызывается другой процесс ChildMain. Я хочу организовать обмен данным между процессами, я могу передать из Main данные через getOutputStream(), но как эти данные ...
0
голосов
1
ответ
181
показ
Aiogram остановка бота на момент парсинга. Multiprocessing. Async
Мне нужно с высокой скорость парсить сайт. Для этого я использовал multiprocessing и aiohttp. При запуске парсинга, бот стопорится. Полагаю, проблема где-то в этом участке кода, помогите разобраться. ...