40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 277 of 341  Not logged in ELOG logo
Entry  Fri Oct 19 12:45:12 2012, Den, Update, CDS, c1lsc is up after reboot 
Entry  Fri Feb 3 10:48:24 2012, Den, Update, Computers, c1lsc kernel 
This morning I killed again c1lsc kernel with the new realization of fxlms algorithm. It works fine with gcc compiler during the tests. However, smth
forbidden for the kernel is going on. I'll spend some more time on investigatin it. Interesting thing is that I did not even pressed "On" at
the OAF MEDM  screen to make the code running. c1lsc suspended even before. May be there  is some function-name mismatch.
Entry  Fri Feb 3 17:29:28 2012, Den, Update, Computers, c1lsc kernel 
The reason I've killed the c1lsc kernel was the following - when the code starts to run, it initializes some parameters and this takes ~0.2 msec per
dof. Now, the old code did nothing with a DOF if C1:OAF-ADAPT_???_ONOFF == OFF. My code still initialized the parameters but then does nothing because
no witness channels are given. But it spends 8*0.2 = 1.6 msec for initializing all 8 dof. As the code is called with frequency 2k, this was the reason
Entry  Thu May 19 16:46:20 2011, kiwamu, Update, LSC, c1lsc model : input channels rearanged c1lsc.png
According to Suresh's LSC rack design I rearranged the input channels of the c1lsc model such that the analog signals and the ADC channels are nicely
Also I updated the c1lsc model in the svn with a help from Joe. The picture below is a screen shot of the input channels in the model file after
    Reply  Wed Aug 8 23:03:42 2018, gautam, Update, CDS, c1lsc model started 
As part of this slow but systematic debugging, I am turning on the c1lsc model overnight to see if the model crashes return.
Entry  Wed Nov 25 14:46:53 2015, gautam, Update, CDS, c1lsc models restarted 
I noticed that all the models running on C1LSC had crashed when I came in earlier today. I restarted all of them by ssh-ing into C1LSC and running
rtcds restart all. The models seem to be running fine now.
    Reply  Mon Mar 25 11:42:45 2013, Jamie, Update, Computers, c1lsc mx_stream ok 
I'm not exactly sure what the problem was here, but I think it had to do with a stuck mx_stream process that wasn't being killed properly.  I manually
killed the process and it seemed to come up fine after that.  The regular restart mechanisms should work now.
No idea what caused the process to hang in the first place, although I know the newer RCG (2.6) is supposed to address some of these mx_stream
Entry  Mon Mar 25 09:52:22 2013, Jenne, Update, Computers, c1lsc mxstream won't restart 
Most of the front ends' mx streams weren't running, so I did the old mxstreamrestart on all machines (see elog
6574....the dmesg on c1lsc right now, at the top, has similar messages).  Usually this mxstream restart works flawlessly, but today c1lsc isn't
working.  Usually to the right side of the terminal window I get an [ok] when things work.  For the lsc machine today, I get [!!] instead. 
Entry  Fri Jan 16 18:33:54 2009, Yoichi, Summary, Computers, c1lsc rebooted to fix 16Hz glitches 
Kakeru, Yoichi

There were 16Hz harmonics in the PD3 and PD4 channels even when there is no light falling on it.
Entry  Fri Jan 7 12:01:39 2011, Osamu, Update, Computers, c1lsc running 
I got a new adapter board for expansion chassis from CDS and exchanged the existing adapter board which was laid on the floor around ETMX to new one.
Then I connected the chassis to c1lcs,  c1lsc seems to be running now. I will return the old board to CDS since Rolf says he wants to return
it to manufacture.
Entry  Wed May 30 18:08:40 2012, Jamie, Update, LSC, c1lsc: add error point pick-offs, moved ctrl pick-offs after feedforward LSCchain.png
I made some modifications to the c1lsc model in order to extract both the error and control signals.
I added pick-offs for the error signals right before IFO DOF filter modules.  These are then sent with GOTOs to outputs.
I also modified things on the control side.  The OAF stuff was picking off control signals before feedforward in/outs.  After discussing
Entry  Thu May 31 22:13:08 2012, Jamie, Update, CDS, c1lsc: added remaining SHMEM senders for ERR and CTRL, c1oaf model updated appropriately lsc-shmem-out.png
All the ERR and CTRL outputs in c1lsc now go to SHMEM senders.  I renamed the the CTRL output SHMEM senders to be more generic, since they aren't
specifically for OAF anymore.  See attached image from c1lsc.
c1oaf was updated so that SHMEM receivers pointed to the newly renamed senders.
Entry  Mon May 11 13:21:25 2015, manasa, Update, CDS, c1lsp and c1sup not running 
I found the c1lsp and c1sup models not running anymore on c1lsc (white blocks for status lights on medm).

To fix this, I ssh'd into c1lsc. c1lsc status did not show c1lsp and c1sup models running on it.
    Reply  Mon May 11 14:08:19 2015, manasa, Update, CDS, c1lsp and c1sup removed? 
I just found out that c1lsp and c1sup models no more exist on the FE status medm screens. I am assuming some changes were done to the models as well.

Earlier today, I was looking at some of the old medm screens running on Donatella that did not reflect this modification. 

Did I miss any elogs about this or was this change not elogged??
    Reply  Tue May 12 08:51:08 2015, ericq, Update, CDS, c1lsp and c1sup removed? 


was this change
not elogged??
Entry  Fri Feb 16 22:15:30 2018, gautam, Update, General, c1mcs model restarted 
c1mcs had died for some reason. Looking
at dmesg, I see:

Entry  Wed Apr 25 21:24:10 2012, Den, Update, Computer Scripts / Programs, c1oaf 
C1OAF model, codes and medm screens are updated. All proper files are commited to svn and updated at the new model path.
    Reply  Wed Oct 2 23:23:02 2019, gautam, Update, CDS, c1oaf DC indicator needs to be green MCL_FF_Test.pdf
Today, I found out that this type of "0x2bad" DC error is connected to the 1e+20 cts output. The solution was to bite the bullet and stop/start
the c1oaf model (at the risk of crashing the vertex FEs). Today, I was lucky and the model came back online with all CDS indicators green. At which point
I was able to engage length feedforward to MC2 (with some admittedly old filter). Some subtraction is happening, see 
Entry  Thu Sep 15 21:56:01 2011, Mirko, Update, CDS, c1oaf check, possible shmem problem c1lsc_to_c1oaf_via_shmem.pngc1oaf_to_c1lsc_via_shmem_fixed_sine_inj_at_100Hz.pngc1oaf_to_c1lsc_via_shmem_white_noise_inj.pngc1pem_to_c1oaf_via_rfm.pngc1lsc_to_c1oaf_via_shmem.png
After Jamie installed the c1oaf model ( entry 5424 ) I went and checked the intermodel communication.
Remember the config is:

c1lsc ->SHMEM-> c1oaf
c1oaf ->SHMEM-> c1lsc
c1pem ->SHMEM-> c1rfm ->PCIE-> c1oaf

I checked at least one of
Entry  Thu Dec 5 15:09:50 2019, gautam, Update, CDS, c1oaf crashed c1lsc SCYerrors.pngCDSnormal.png
I tried starting the c1oaf model, but got a DQ error (I want the option of running feedforward during locking even if the filters aren't particularly
well tuned yet). Note that this isn't "just a warning light" - some channels are initialized to +/- 1e20, so if you try turning some filters
on, you will deliver a massive kick to the optics. Restarting it crashed c1lsc (this is not unexpected behavior - the only way to clear the DQ error is
Entry  Mon Jul 9 11:27:27 2012, Jenne, Update, Computers, c1oaf has been down for several days - BURT restore wasn't done correctly on startup 
The c1oaf model hasn't been running for a few days (since the leap second problems we were having last week).  I had looked into it, but finally
figured it out (with Jamie's help) today. 
The BURT restore has to be given to the model during startup, but for whatever reason it wasn't BURT restoring until *after* the model had already
Entry  Mon May 5 19:51:56 2014, jamie, Update, CDS, c1oaf model broken because of broken BLRMS block blrms-hot-mess.pngsddefault.jpg
I finally tracked down the problem with the c1oaf model to the BLRMS part:
Entry  Wed Oct 2 10:40:07 2019, gautam, Update, CDS, c1oaf model restarted c1oafRestart.png
This morning, I restarted the c1oaf
model on the c1lsc machine, so as to
have the option of enabling some feedforward action. Unsurprisingly, the "DC" indicator is red, citing a "0x2bad". In
Entry  Mon Apr 8 11:53:17 2019, gautam, Update, CDS, c1oaf needs debugging c1oaf_sat.pngMCL_FF_TF.pdf
I tried restarting c1oaf this weekend to see if turning on the MC length FF would affect the ALS noise performance. I burtrestored the filter settings
from March 2016. However, I noticed several possible anomalies, which need debugging. I am not turning the model off because of the possibility of having
to reboot all the vertex FEs, but this model is totally unusable right now.
    Reply  Mon Aug 27 17:14:00 2012, jamie, Update, CDS, c1oaf problem 


           I came in to the lab in the evening and found c1lsc had "red" for FB connection.
Entry  Tue Sep 1 02:44:44 2015, Koji, Summary, CDS, c1oaf, c1mcs modified for the IMC angular FF c1oaf_screenshot1.pngc1oaf_screenshot2.pngc1mcs_screenshot.pngOAF_MEDM1.pngOAF_MEDM2.png
[Koji, Ignacio]

In order to allow us to work on the IMC angular FF, we made the signal paths from PEM to MC SUSs.
In fact, there already were the paths from c1pem to c1oaf. So, the new paths were made from c1oaf to c1mcs. (Attachment 1~3)
    Reply  Wed Aug 1 20:44:57 2018, gautam, Summary, Computers, c1omc model (re?)created CDS_OVERVIEW_withOMC.png
The main motivation behind adding a DAC card in c1ioo was to setup an RTCDS model for the OMC. Attachment #1 shows the new look CDS overview screen.
Here is what I did.

Mostly, I followed instructions from when I setup the model for the EX green
    Reply  Thu Aug 2 20:54:18 2018, gautam, Summary, Computers, c1omc model looks stable 
Actually, c1lsc had crashed again sometime last night so I had to reboot everything this morning. I used the reboot script again, but I increased the
sleep time between trying to start up the models again so that I could walk into the VEA and power cycle the c1lsc expansion chassis, as this kind of frequent
model crash has been fixed by doing so in the past. Sure enough, there have been no issues since I rebooted everything at ~1030 in the morning. 
Entry  Mon Nov 30 16:23:51 2009, Jenne, Update, Computers, c1omc restarted 
I found the FEsync light on the OMC GDS screen red.  I power cycled C1OMC, and restarted the front end code and the tpman.  I assume this is
a remnant of the bootfest of the morning/weekend, and the omc just got forgotten earlier today.
Entry  Mon Nov 21 17:07:34 2011, Mirko, Update, CDS, c1pem model dead 
For some reason C1PEM doesn't seem to work anymore after a recompilation. It did recompile fine. We just changed some channel / subsystem names.
Tried reverting to the svn version. Doesn't work. Reboot C1SUS also no good.
    Reply  Mon Nov 21 22:51:55 2011, Mirko, Update, CDS, c1pem model dead 

            For some reason C1PEM doesn't seem to work anymore after a recompilation. It did recompile fine. We just changed some
Entry  Wed Dec 8 14:51:09 2010, josephb, Update, CDS, c1pem now recording data 
c1pem model was reporting all zeros for all the PEM channels.
Two fold.  On the software end, I added ADCs
0, 1, and 2 to the model.  ADC 3 was already present and is the actual ADC taking in PEM information.
    Reply  Sat Jan 1 19:13:40 2011, rana, Update, CDS, c1pem now recording data Untitled.png
 I found that there was no PEM data nor any other data (no SUS or otherwise. No testpoints, no DAQ).
I went through the procedure that Jenne has detailed in
the Wiki but it didn't work.
    Reply  Wed Nov 2 22:56:45 2016, gautam, Update, CDS, c1pem revamped 
installing the BLRMS 2k blocks turned out to be quite non-trivial due to a whole host of CDS issues that had to be debugged, but i've restored everything
to a good state now, and the channels are being logged. detailed entry with all the changes to follow.
    Reply  Thu Nov 3 12:38:42 2016, gautam, Update, CDS, c1pem revamped BLRMSresp.pdf
A number of changes were made to C1PEM and some library parts. Recall that the motivation was to add BLRMS channels for all our suspension coils and
shadow sensor PDs, which we are first testing out on the IMC mirrors.

Here is the summary:
    Reply  Thu Nov 3 13:36:16 2016, ericq, Update, CDS, c1pem revamped 
It seems that the EX and EY BLRMS banks were missing the BP and LP filters for the 0.03-0.1 and 0.1-0.3 bands. I've copied over the filters from
the BS seismometer.

However, if it looks like the integrated C code BLRMS block works out well, we could replace the seismometers' filter module heavy BLRMS
    Reply  Fri Jan 27 21:21:35 2017, gautam, Update, CDS, c1pem revamped 
The coil and PD BLRMS are useful tools in identifying when glitches occur in the PD  readout, I thought it would be good to install them for ITMY,
ETMX and SRM (since I plan to switch the MC3 satellite box, which we suspect to be problematic, with the SRM one). For this purpose, I had to install some
IPC SHMEM blocks in C1SUS and recompile. 24 IPC channels were added to pipe the coil, PD and Oplev signals from C1SUS to C1PEM - the recompilation went
    Reply  Mon Dec 14 23:56:29 2015, ericq, Update, CDS, c1pem reverted 
To get C1PEM data back into the frames, I removed the new BLRMS blocks, recompiled, reinstalled, re-enabled it in daqd, restarted.

We still really want more headroom in our framebuilder situation. 
Entry  Mon Sep 26 17:49:51 2011, Koji, Update, PSL, c1psl  
[Koji Suresh]
c1psl has got frozen during our ezcaread/write business. 
After the target was rebooted and we lost the previous setting as there was no burt snapshot for
Entry  Mon Mar 2 16:29:40 2020, gautam, Update, Electronics, c1psl VME crate removed, Acro-crate installed c1psl.pdf

The old c1psl VME crate, and all the ribbon cables connected to it were removed from 1X1. They are presently dumped in the office area
- we will clear these in the next few days, once the c1iool0 crate also gets removed from the rack.
The Acromag crate was capped on the top
Entry  Thu Feb 6 21:54:13 2020, Jon, Update, PSL, c1psl bench testing complete 
Today I engineered the last piece of the new c1psl system: the multi-bit binary output (mbbo) channels that control the MC servo board gains.
These 6-bit channels have to be split across two 4-bit Acromag registers. To enforce synchronous switching, I adapted the latch.py
script developed by Gautam to address this problem in c1iscaux. Analogously to the c1iscaux implementation, I scripted the code to automatically
    Reply  Fri Feb 24 20:38:01 2017, johannes, Update, Computers, c1psl boot-stall culprit identified 
[Gautam, Johannes]

c1psl finally booted up again, PMC and IMC are locked.

Trying to identify the hickup from the source code was fruitless. However, since the PMCTRANSPD channel acqusition failure occured long before
Entry  Thu Jan 23 23:07:04 2020, Jon, Configuration, PSL, c1psl breakout board wiring c1psl_feedthrough_wiring.pdf
To facilitate wiring the c1psl chassis and scripting loopback tests, I've compiled a distilled spreadsheet with the Acromag-to-breakout board
wiring, broken down by connector. This information is extractable from the master
spreadsheet, but not easily. There were also a few apparent typos which are fixed here.
Entry  Mon Jan 13 15:47:37 2020, shruti, Configuration, Computer Scripts / Programs, c1psl burt restore 
[Yehonathan, Jon, Shruti]

Since the PMC would not lock, we initially burt-restored the c1psl machine to the last available shapshot (Dec 10th 2019), but it still would
not lock.
Entry  Mon Apr 9 23:28:49 2018, johannes, Configuration, DAQ, c1psl channel list 
I made a list of all the physical c1psl channels to get a better idea for how many acromags we need to replace it eventually. There  3123 unit is the one whose failure had prevented c1psl from booting, which is why it was unplugged (elog
post 12852), and its channels have been inactive since. Are the 126MOPA channels used for the current mephisto? 126 tells me it's for an old lightwave
Entry  Wed Mar 4 22:38:31 2020, Jon, Update, PSL, c1psl communications problem resolved 
I investigated the problem reported earlier today with the BIO1 channels. By logging
the systemd messages generated when the IOC starts, I was immediately able to determine that the problem was not limited to BIO1. The modbus communications
were failing for several other units as well.
Entry  Tue Jul 30 09:13:31 2019, gautam, Update, PSL, c1psl keyed, Agilent setup cleared 

IMC would not lock. c1psl EPICS channels were unresponsive. I keyed the crate and went through the usual burtrestore/PMC-relocking dance.
at 1X2, I decided to take this opportunity to clean up the AG4395 setup that has been setup there unused for several weeks now.

the active probe connected via BNC-T connector to the mixer IF output.
Noticed that the active probe (S/N 2850J01450) did not
Entry  Mon Feb 3 15:22:39 2020, Jon, Update, PSL, c1psl progress/Acromag ADC grounding 
I tested the c1psl AO channels on the electronics bench on Friday. While I found all the wiring to be correct, some of the channels exhibited excess
noise with all appearances of a grounding problem.

Today Jordan, Gautam, and I investigated this further. It is indeed a grounding problem, but actually with the Acromag ADCs. The Acromag
Entry  Fri Jan 10 14:21:19 2020, Yehonathan, Update, PSL, c1psl reboot 
PSL controls on the sitemap went blank. Rebooted c1psl. PSL screens seem normal again.
Entry  Tue Sep 8 19:30:33 2009, rana, Update, PSL, c1psl rebooted for new RCPID database settings c1psl-term-dump.txt.gzC1PSL_FSS_RCPID.pngPicture_1.png
The RC thermal PID is now controllable from its own MEDM screen which is reachable from the FSS screen. The slowpid.db and psl.db have been modified
to add these records and all seems to be working fine.
Also, I've attached the c1psl startup output that we got on the terminal. This is just for posterity.
ELOG V3.1.3-